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1 Inleiding 

Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is bezig om 
uitvoering te geven aan het kabinetsstandpunt over het advies van de commissie 
'Elektronisch stemmen in het stemlokaal'. Een van de onderdelen uit het 
kabinetsstandpunt, waar nader onderzoek naar wordt uitgevoerd, betreft de 
vraag of de toegankelijkheid wordt vergroot bij het gebruik van een stemprinter. 
Dat wil zeggen dat meer kiezers, waaronder ook kiezers met een beperking, 
zelfstandig een keuze kunnen maken voor een verkiezing waar de betreffende 
kiezer voor kiesgerechtigd is. Op dit punt bevat het kabinetsstandpunt de 
volgende passage: 

"Het kabinet is van mening dat kiezers zoveel mogelijk zelfstandig hun stem 
moeten kunnen uitbrengen. Het stemmen met een stemprinter kan de 
toegankelijkheid vergroten met name voor kiezers met een visuele beperking. 

Het gebruik van logo's en/of foto's (van kandidaten) kan het ook voor andere 
kiezers makkelijker maken om te stemmen. In welke mate de toegankelijkheid 
wordt vergroot zal moeten blijken uit testen en experimenten." 

Het kabinet wil aan het einde van 2014 een besluit nemen over de haalbaarheid 
van de invoering van een stemprinter, zoals door de commissie geadviseerd. Om 
dat besluit te kunnen nemen is meer informatie nodig over de vraag of een 
stemprinter daadwerkelijk de toegankelijkheid kan vergroten. Om de hiervoor 
benodigde informatie te verkrijgen heeft het ministerie van BZK aan de 
Technische Universiteit Delft (TUD) de opdracht gegeven om mogelijke user 
interfaces te ontwikkelen om zo te kunnen nagaan hoe het maken van een keuze 
op een lijst en kandidaat op de stemprinter zou kunnen verlopen. Als sluitstuk 
van die opdracht is in december 2014 een test uitgevoerd met proefpersonen uit 
twee gebruikersgroepen (A en B). 

Deze rapportage beschrijft de organisatie van die test. De test was bedoeld om 
na te gaan of proefpersonen op de door de TUD ontwikkelde simulatie van een 
stemprinter zelfstandig een keuze kunnen maken vooreen verkiezing en de 
keuze kunnen printen. 
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2 Testopzet 

De testopzet is ontwikkeld door de TUD. In deze testopzet was bepaald dat er 
twee gebruikersgroepen meededen aan de test (A en B). Er werd een fictieve 
meervoudige verkiezing gebruikt om de simulatie van een stemprinter te testen. 

Twee gebruikersgroepen: A en B 

Gebruikersgroep A moest bestaan uit 400 personen die nu in staat zijn om 
zelfstandig te stemmen met het papieren stembiljet dat gebruikt wordt bij 
verkiezingen. 

Gebruikersgroep B moest bestaan uit 150 proefpersonen die om uiteenlopende 
redenen nu niet of in onvoldoende mate in staat zijn zelfstandig te stemmen met 
het papieren stembiljet dat gebruikt wordt bij verkiezingen. De steekproef voor 
gebruikersgroep B moest de volgende categorieën proefpersonen omvatten. 

1. Blinden: kunnen niet zien. 

2. Slechtzienden: zijn zonder een hulpmiddel (anders dan bril, lenzen) en bij 
normale verlichting niet in staat zelfstandig op het huidige stembiljet de keuze te 
maken die hij/zij wil. 

3. Laaggeletterden: analfabeten en andere personen die (anders dan vanwege 
een verstandelijke beperking) niet in staat zijn op het huidige stembiljet 
zelfstandig de keuze te maken die hij/zij wil. 

4. Licht verstandelijk gehandicapten: personen die vanwege een verstandelijke 
beperking niet in staat zijn op het huidige stembiljet zelfstandig de keuze te 
maken die hij/zij wil. 

5. licht (motorisch) fysiek beperkten: personen die vanwege deze fysieke 
beperking(en) niet in staat zijn op het huidige stembiljet zelfstandig de keuze te 
maken die hij/zij wil. 

Binnen deze vijf categorieën moest rekening worden gehouden met de volgende 
spreiding: 

• 30 proefpersonen per categorie 

• maximaal 75% van hetzelfde geslacht 

• maximaal 75% van dezelfde leeftijdscategorie (18-50, 50 jaar en ouder) 

• minimaal 15% van de proefpersonen heeft als hoogst genoten 
opleidingsniveau lager onderwijs 

• minimaal 15% van de proefpersonen heeft als hoogst genoten 
opleidingsniveau hoger onderwijs 
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• minimaal 25% van de proefpersonen komt uit stedelijk gebied 
(CBS: klasse 1-2) 

• minimaal 15% van de proefpersonen komt uit landelijk gebied 
(CBS: klasse 4-5) 

Fictieve meervoudige verkiezing 

Tijdens de test werd een meervoudige verkiezing gesimuleerd. De proefpersonen 
konden een keuze maken voor een verkiezing met fictieve lijsten en kandidaten 
en voor een fictief referendum. De gegevens voor deze verkiezing/dit referendum 
werden aangeleverd door het ministerie van BZK. De proefpersonen kregen een 
opdracht om bepaalde keuzes te maken en te controleren of de keuzes op de 
geprinte stembiljetten correct waren. De proefpersonen leverden de stembiljetten 
en de ontvangen opdracht in bij de testbegeleider (verder tester genoemd in dit 
rapport). Daarna kregen ze een opdracht om een keuze te maken op het huidige 
stembiljet. De tester stelde vervolgens nog enkele vragen aan elke proefpersoon 
en noteerde de antwoorden. 

Vier proefopstellingen met simulatie stemprinter 

Bij de test werd gebruik gemaakt van vier proefopstellingen waarmee de werking 
van een stemprinter werd gesimuleerd. De proefopstellingen werden opgesteld en 
gedurende het hele onderzoek onderhouden door de bouwer ervan. De 
proefopstellingen werden tijdens de test zo opgesteld dat anderen die zich in de 
testlocatie bevinden niet konden zien wat de proefpersoon deed. 

De wijze waarop de test is uitgevoerd, is beschreven in het testprotocol. Het 
testprotocol is als bijlage 1 bij dit rapport gevoegd. 


3 Selectie van de proefpersonen 

Gebruikersgroep A 

De 400 proefpersonen uit gebruikersgroep A werden geworven uit het panel van 
een gecertificeerd bureau dat respondenten werft en selecteert voor 
marktonderzoek. Dit panel bevat meer dan 90.000 mensen van wie een groot 
aantal kenmerken bekend is, onder meer geslacht, leeftijd, opleidingsniveau, 
woonplaats. Dat maakte het mogelijk uit dit panel een steekproef voor 
gebruikersgroep A te trekken op basis van de criteria die de TU Delft daarvoor 
had opgesteld en die in hoofdstuk 2 van dit rapport zijn genoemd. De langs deze 
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weg geworven proefpersonen ontvingen na de test een vergoeding voor hun 
deelname. 

In de volgende tabel is te zien hoe de steekproef voor gebruikersgroep A werd 
samengesteld. De proefpersonen moesten in 2014 zelfstandig hebben gestemd 
voor de verkiezing van de leden van de gemeenteraden en/of de leden van het 
Europees Parlement. Bij de selectie van de proefpersonen gold die vraag als 
eerste criterium voor deelname aan de test. 


Steekproef gebruikersgroep A 

% 

Min. 

Gem. 

Max. 

Geslacht 





Vrouw 

50% 

190 

200 

210 

Man 

50% 

190 

200 

210 

Leeftijd 





18 - 40 

30% 

114 

120 

126 

40 - 60 

40% 

152 

160 

168 

60 - 80 

25% 

95 

100 

105 

80 + 

5% 

19 

20 

21 

Opleiding* 





Lager 

30% 

114 

120 

126 

Hoger 

30% 

114 

120 

126 

Lager, hoger, of middelbaar 

40% 

152 

160 

168 

Regionale spreiding** 





Stedelijk gebied (CBS: klasse 1 en 2) 

50% 

190 

200 

210 

Landelijk gebied (CBS: klasse 4 en 5) 

30% 

114 

120 

126 

Overig (een van de vijf klassen) 

20% 

76 

80 

84 


* Lager: basisonderwijs, vmbo, mbol 
Middelbaar: mbo2, mbo3, mbo4, havo, vwo 
Hoger: hbo, wo-bachelor, wo-master, doctor 


** Klassen CBS: 

1 Zeer sterk stedelijke gemeenten: omgevingsadressendichtheid van 2.500 
adressen of meer per km 2 

2 Sterk stedelijke gemeenten: omgevingsadressendichtheid van 1.500 tot 2.500 
adressen per km 2 

3 Matig stedelijke gemeenten: omgevingsadressendichtheid van 1.000 tot 1.500 
adressen per km 2 

4 Weinig stedelijke gemeenten: omgevingsadressendichtheid van 500 tot 1.000 
adressen per km 2 

5 Niet stedelijke gemeenten: omgevingsadressendichtheid van minder dan 500 
adressen per km 2 
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Gebruikersgroep B 

firMM heeft van de TUD de namen en telefoonnummers van contactpersonen van 
belangenverenigingen gekregen. Met deze contactpersonen had de TUD contact 
en afstemming gehad bij het ontwerpen van de simulatie van de stemprinter. 

Deze contactpersonen zijn door firMM benaderd om na te gaan hoe proefpersonen 
uit gebruikersgroep B voor de test konden worden geworven. 

Blinden en slechtzienden 

Voor de werving van blinde en slechtziende proefpersonen werd contact 
opgenomen met de contactpersonen van de TUD bij de Oogvereniging. Met deze 
vereniging zijn afspraken gemaakt over de werving van proefpersonen en over de 
vergoeding die de Oogvereniging daarvoor zou ontvangen. De Oogvereniging 
heeft die werving uitgevoerd door oproepen te plaatsen in digitale nieuwsbrieven 
van de Oogvereniging en van de MD-vereniging (MaculaDegeneratie). Omdat er 
zorgen waren over het werven van voldoende proefpersonen is ook nog 
via Visusnjk, het netwerk van Rijksambtenaren met een visuele beperking, 
geprobeerd proefpersonen te vinden. De blinde en slechtziende proefpersonen 
kregen allen achteraf een reis- en onkostenvergoeding. 

Licht verstandelijk beperkten 

In eerste instantie werd contact opgenomen met de contactpersoon van de TUD 
bij Ieder(in), een koepelorganisatie voor mensen met een beperking of 
chronische ziekte. Deze contactpersoon verwees door naar een zorgorganisatie in 
de regio Utrecht. Bij deze zorgorganisatie bestond interesse voor de test, onder 
voorwaarde dat de test in huis bij één van haar eigen instellingen zou worden 
georganiseerd. Vanwege de geografische ligging zou het echter lastig zijn om op 
die locatie ook proefpersonen uit de andere doelgroepen uit te nodigen. Daarom 
werd gezocht naar een andere mogelijkheid om licht verstandelijk beperkte 
proefpersonen bij de test te betrekken. 

Een oplossing werd gevonden bij Presikhaaf Bedrijven te Arnhem, het mens- en 
arbeidsontwikkelbedrijf voor de regio Midden-Gelderland. Presikhaaf Bedrijven is 
werkgever van circa drieduizend mensen met een afstand tot de arbeidsmarkt. 

Het gaat daarbij om mensen met (licht) fysieke of verstandelijke beperkingen en 
mensen met psychische problematiek. Presikhaaf Bedrijven biedt hen passend 
werk bij hun mogelijkheden en talenten, en ondersteunt hen met opleiding en 
begeleiding. 

Presikhaaf Bedrijven wierf alle proefpersonen met een licht verstandelijke 
beperking. De directie van Presikhaaf Bedrijven gaf de proefpersonen de 
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gelegenheid om onder hun reguliere werktijd deel te nemen aan de test, die in 
huis op het bedrijfsterrein plaatsvond. De proefpersonen kregen geen individuele 
vergoeding. Presikhaaf Bedrijven ontving een vergoeding voorde bemiddeling en 
facilitering. 

Laaggeletterden 

Voor de werving van laaggeletterde proefpersonen werd contact opgenomen met 
de contactpersoon die de TUD had verstrekt voor de Stichting Lezen & Schrijven. 
Deze contactpersoon zou een oproep kunnen doen onder vrijwilligersafdelingen 
en opleidingscentra in het land. Deze brede benadering bood geen concrete 
mogelijkheden om op korte termijn met laaggeletterden in contact te komen. 
Daarom werd rechtstreeks contact opgenomen met de Participatieopleidingen van 
het ROC Midden Nederland in Utrecht, waar basiscursussen lezen en schrijven 
worden verzorgd voor volwassenen. Langs deze weg werden acht proefpersonen 
geworven voor de test. Deze proefpersonen kregen een vergoeding voor 
deelname aan de test. 

Daarnaast kwam in de gesprekken met Presikhaaf Bedrijven naar voren dat daar 
in huis, in samenwerking met het ROC, lees- en schrijfonderwijs voor 
laaggeletterden wordt gegeven. Presikhaaf Bedrijven bood aan om behalve 
mensen met een licht verstandelijke beperking, ook laaggeletterde mensen te 
werven voor de test. Langs deze weg werd het merendeel van de laaggeletterde 
proefpersonen geworven. 

De proefpersonen van Presikhaaf Bedrijven kregen geen individuele vergoeding; 
zij namen deel aan de test onder dezelfde condities als de mensen met een licht 
verstandelijke beperking. 

Licht (motorisch) fysiek beperkten 

Het vinden van proefpersonen in deze categorie bleek erg moeilijk. De TUD kon 
geen eenduidige definitie van deze doelgroep leveren. Daarnaast ontbraken 
ingangen voor het werven van proefpersonen. 

In eerste instantie werd contact opgenomen met de contactpersoon van de TUD 
bij Ieder(in). De contactpersoon kon niet nader bemiddelen voor deze doelgroep 
en verwees naar de lijst van aangesloten organisaties bij Ieder(in). 

Er werd contact opgenomen met diverse patiëntenverenigingen. De 
contactpersonen van deze verenigingen meldden dat zich in hun achterban 
mogelijke proefpersonen konden bevinden, maar het was voor de verenigingen 
niet mogelijk te bemiddelen voor deze test. 
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Ook Presikhaaf Bedrijven werd gevraagd. Hoewel daar veel mensen met een 
fysieke beperking werken, konden toch slechts enkele proefpersonen worden 
gevonden die voldeden aan het criterium dat ze vanwege hun fysieke beperking 
niet in staat zouden zijn om op het huidige stembiljet zelfstandig de keuze te 
maken die ze willen. 

Ten slotte constateerde het ministerie van BZK dat er twijfels waren over de 
geschiktheid van de interface en de knoppensystematiek van de 
stemprintersimulatie voor deze doelgroep. 

Dit alles heeft geleid tot het besluit deze test niet uit te voeren met 
proefpersonen met licht (motorische) fysieke beperkingen. 


4 Ontwikkeling van het testprotocol 

Op basis van de testopzet van de TUD heeft firMM een testprotocol opgesteld. De 
TUD bepaalde de procedure en de randvoorwaarden waarbinnen de test moest 
worden uitgevoerd, welke informatie de proefpersonen kregen, wat de 
opdrachtvarianten waren, hoe die over de gebruikersgroepen verdeeld moesten 
worden, en welke vragen daarna aan de proefpersonen werden gesteld. Behalve 
een opdracht op de stemprintersimulatie, kregen de proefpersonen (uitgezonderd 
de blinden) ook een opdracht om het huidige stembiljet in te vullen. 

In het testprotocol werd tevens beschreven: 

de verantwoordelijkheden en rollen voor alle onderdelen van de test; 
selectie, inplanning en registratie van de proefpersonen; 
instructies voor de medewerkers aan de test; 
instructies voorde proefpersonen; 

wijze van vastlegging en waarborging correctheid van de resultaten. 

Het volledige testprotocol is opgenomen als bijlage 1 bij dit rapport. 

Voor de proefpersonen werd een instructieposter ontwikkeld bestaande uit 
tekeningen ondersteund met zeer korte tekst. Deze is opgenomen als bijlage 2 bij 
dit rapport. 

De opdrachten, opgemaakt in de vorm zoals de proefpersonen die ontvingen, zijn 
te vinden in bijlagen 3 t/m 8 bij dit rapport. 

De dataformulieren waarop de testers de antwoorden van de proefpersonen 
noteerden, staan in bijlage 9. 
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5 Testmedewerkers 

De test werd uitgevoerd door acht testers, twee gastvrouwen en een 'uitlegger' 
onder leiding van de testcoördinator en de vervangende testcoördinator. Verder 
was er assistentie van een projectondersteuner en een portier. 

Om te zorgen dat de test bij elke proefpersoon op dezelfde wijze werd 
uitgevoerd, ontvingen de medewerkers circa één week voor de test een 
Testinstructie. De Testinstructie bevatte een nauwkeurige beschrijving van de 
gedragsregels en voorschriften waaraan de medewerkers zich moesten houden, 
van de uit te voeren stappen tijdens de test (het testprotocol) en een lijst met 
'Vragen en antwoorden' (zie bijlage 1, aan het einde van dat document). 

Tijdens de instructiebijeenkomst kregen de medewerkers nadere informatie over 
het stemproces en de testopzet, en instructies voor de testuitvoering. Door 
middel van rollenspellen oefenden de medewerkers in het informeren van 
proefpersonen, het geven van de opdracht, het uitvoeren van de test en het 
registreren van de testdata. Ook werden de medewerkers voorbereid op het 
omgaan met proefpersonen met beperkingen, en met bijzondere situaties 
(bijvoorbeeld omgaan met proefpersonen die tijdens uitvoering van de opdracht 
om hulp vragen; wat te doen bij een (vermeende) technische storing; omgang 
met vragen die niet direct betrekking hebben op de test; wat te doen bij 
calamiteiten etc.). 

Drie medewerkers werden specifiek geïnstrueerd voor de testuitvoering met 
gebruikersgroep B. 


6 Testlocaties 

De test vond plaats op twee locaties. 

Locatie 1, op 3 en 4 december 2014: 

Meeting Plaza (nabij Utrecht CS, in Hoog Catharijne) 

Godebaidkwartier 20, 3511DX te Utrecht 

Hier vond de test plaats met gebruikersgroep A en met een deel van 
gebruikersgroep B: de blinde en slechtziende proefpersonen, alsmede enkele 
laaggeletterde proefpersonen. 

De keuze voor deze locatie werd met name bepaald door de goede 
bereikbaarheid ervan voor blinde en slechtziende proefpersonen, vanwege de 
ligging nabij Utrecht CS. Voor ziende proefpersonen was de locatie achteraf 
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minder geschikt, vanwege de moeilijk herkenbare ingang in Hoog Catharijne en 
vanwege de indeling van de locatie waar men door het interne restaurant heen 
moest om de registratie- en testruimtes te bereiken. Door de inzet van een 
portier bij de ingang en door het aanbrengen van bewegwijzering in de locatie 
kon eventueel ongemak van proefpersonen grotendeels worden opgevangen. 
Achteraf zou het de voorkeur hebben gehad om aparte testlocaties voor blinden 
en slechtzienden, en voor groep A te kiezen. 

Locatie 2, op 9 en 10 december 2014: 

Presikhaaf Bedrijven 
Driepoortenweg 35, 6827BP te Arnhem 

Op deze locatie vond de test plaats met licht verstandelijk beperkte en met 
laaggeletterde proefpersonen. Ook werd hier nog een blinde proefpersoon (via de 
Oogvereniging) getest, en enkele proefpersonen groep A. In een ruime zaal, 
centraal gelegen in het bedrijf, werden twee stemprintersimulaties opgesteld. Bij 
de ingang van de zaal stond de registratietafel van de gastvrouw en was zitruimte 
voor wachtenden. De bereikbaarheid voor de proefpersonen was optimaal, nabij 
hun werkplek. 


7 Vastlegging van de resultaten 

De gegevens van de proefpersonen en de testdata zijn geanonimiseerd ingevoerd 
in Excel. Bij elke proefpersoon zijn de sessienummers van de 
stemprintersimulatie vermeld zodat de dataset gerelateerd kan worden aan de 
logfile van de stemprintersimulaties ten behoeve van de analyse. 

Bij de datainvoer en-controle kwam een klein aantal gevallen naar voren waarin 
een test niet volgens het protocol was afgenomen, bijvoorbeeld doordat een 
proefpersoon de opdracht met het huidig stembiljet niet had gekregen, of doordat 
een proefpersoon ten onrechte geen herkansing had gekregen. Die gevallen zijn 
verwijderd uit het databestand. 


De dataset is, als Excel-bestand, voor analyse overgedragen aan de TU Delft. 
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1 Doel, data en locaties van de test 

De test is bedoeld om na te gaan of proefpersonen op de door de TUD 
ontwikkelde simulatie van een stemprinter zelfstandig een keuze kunnen maken 
vooreen verkiezing en de keuze kunnen printen. De testresultaten moeten het 
ministerie van BZK inzicht verschaffen in deze kwesties ten behoeve van het 
besluit dat het Kabinet aan het einde van 2014 wil nemen over de haalbaarheid 
van de invoering van een stemprinter. 

Aan de test doen twee gebruikersgroepen mee. Gebruikersgroep A zal bestaan uit 
400 personen die nu in staat zijn om zelfstandig te stemmen met het papieren 
stembiljet dat gebruikt wordt bij verkiezingen. Gebruikersgroep B moet bestaan 
uit 120 proefpersonen die om uiteenlopende redenen nu niet of in onvoldoende 
mate in staat zijn zelfstandig te stemmen met het papieren stembiljet dat 
gebruikt wordt bij verkiezingen. Zie hoofdstuk 4 voor nadere specificatie van de 
gebruikersgroepen. 

Tijdens de test wordt een meervoudige verkiezing gesimuleerd: een verkiezing 
met fictieve lijsten en kandidaten, en een referendum met een fictieve 
referendumvraag. 

De tests vinden plaats op 3 en 4 december in Meeting Plaza (nabij Utrecht CS) en 
op 9 en 10 december bij Presikhaaf Bedrijven in Arnhem (sociale 
werkvoorziening). 
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2 Verantwoordelijkheden en rollen voor alle onderdelen van de test 

Uitgegaan wordt van de volgende werkzaamheden: voorbereidende 
werkzaamheden van de testen, uitvoering van de testen, verwerking van de 
testdata en het rapporteren. De test wordt uitgevoerd door acht testers, een 
'uitlegger' en twee gastvrouwen, onder leiding van de testcoördinator en de 
vervangende testcoördinator. Daarnaast is er assistentie van een 
projectondersteuner. Er is een reserve-tester direct oproepbaar. Tevens is er een 
portier om proefpersonen bij de ingang van Meeting Plaza Utrecht op te vangen. 

Bij elke proefopstelling werken twee testers, elk aan een tafel; beiden voeren 
zelfstandig tests uit. Eén van de proefopstellingen is gereserveerd voor het 
afnemen van de test bij blinden en slechtzienden. Drie testers zijn specifiek 
geïnstrueerd om proefpersonen groep B te testen. In bijzondere gevallen kan ook 
de testcoördinator tests afnemen. 

Testcoördinator 

Taken van de testcoördinator: 

• algemene leiding over de test en coördinatie van de testen; 

• bewaken toepassing testprotocollen, en aan- en bijsturen van de testteams; 

• tussentijds rapporteren aan opdrachtgever op onderdelen van de opdracht en 
het aanleveren van de rapportage; 

• aanspreekpunt zijn voor opdrachtgever; 

• flexibel en oplossingsgericht optreden, bijvoorbeeld bij uitval van 
medewerkers of proefpersonen; 

• bewaken van testresultaten en testmaterialen. 

Vervangende testcoördinator 

Gedurende het hele project is er een vervangende testcoördinator aanwezig. 

Deze ondersteunt de testcoördinator en kan deze vervangen. 

Projectondersteuning bij werven van proefpersonen 

Bij het werven en inplannen van de proefpersonen wordt samengewerkt met een 
gekwalificeerde leverancier van respondenten voor diverse onderzoekbureaus in 
Nederland. Dit wervingsbureau bezit de ISO keurmerken 20252 en 26362. firMM 
werkte in 2012 reeds samen met hetzelfde bureau voor een test met het 
stemmen met nieuwe ontwerpen voor papieren stembiljetten. 
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Het wervingsbureau voert de volgende activiteiten uit, in nauwe samenwerking 
met firMM: 

• het rondsturen van een uitnodigingsmail naarde potentiële proefpersonen; 

• het telefonisch controleren of respondenten voldoen aan de criteria; 

• het bevestigen van de afspraak per respondent; 

• een herinnering sturen naar respondenten; 

• het vervangen van respondenten die uitvallen; 

• het terugkoppelen tijdens testdagen om indien nodig extra respondenten te 
regelen. 

Gastvrouwen 

Twee gastvrouwen vangen de proefpersonen bij binnenkomst op, registreren hen 
op de lijst van ingeplande proefpersonen, en overhandigen hen* een mapje met 
kleurcodering en nummer. Iedere proefpersoon krijgt een sticker met hetzelfde 
nummer als op het mapje staat. 

• Blinden en slechtzienden krijgen het mapje niet overhandigd. De gastvrouw 
overhandigt het mapje aan de tester. 

Uitlegger 

Deze geeft uitleg over de test aan de proefpersonen van groep A. 

Testers 

Drie testers zijn specifiek geïnstrueerd voor het testen van groep B. 

Voor de test met groep B is ook de testcoördinator beschikbaar als tester. 

In totaal zijn er negen testers plus een reserve tester. 
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3 Opzet van de test 

De opzet voor de tekst is ontwikkeld door de TUD. Aan de test doen twee 
gebruikersgroepen (A en B) mee (zie hoofdstuk 5). 

In de test wordt gebruik gemaakt van vier proefopstellingen waarmee de werking 
van een stemprinter wordt gesimuleerd. De proefopstellingen worden opgesteld 
en gedurende het hele onderzoek onderhouden door de bouwer ervan. De bouwer 
is tijdens de test steeds op de locatie aanwezig voor technische ondersteuning. 

De proefopstellingen worden tijdens de test zo opgesteld dat anderen die zich in 
de testlocatie bevinden niet kunnen zien wat de proefpersoon doet. 

Tijdens de test wordt een meervoudige verkiezing gesimuleerd. De proefpersonen 
krijgen opdrachten waarbij ze een keuze kunnen maken voor een verkiezing met 
fictieve lijsten en kandidaten en voor een fictief referendum. De gegevens voor 
deze verkiezing/dit referendum worden aangeleverd door het ministerie van BZK. 
De proefpersoon krijgt een opdracht om bepaalde keuzes te maken en te 
controleren of de keuzes op de geprinte stembiljetten correct zijn. De TUD heeft 
diverse opdrachtvarianten opgesteld voor groep A en groep B, en daarbinnen nog 
specifieke opdrachtvarianten voor blinden (zie bijlage 1). 
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4 Selectie, inplanning en registratie van de proefpersonen 


4.1 Werving gebruikersgroep A 

De proefpersonen voor groep A worden geworven door een gespecialiseerd 
wervingsbureau, via het eigen panel van van dit bureau. Dit panel bevat meer 
dan 90.000 mensen, die een afspiegeling vormen van de Nederlandse bevolking. 
Het werkproces van van het wervingsbureau bevat de volgende stappen. 

• Mail uitsturen naar personen uit potentiële doelgroep, met een vragenlijst om 
te bepalen of ze in het vereiste profiel vallen. 

• Geschikte proefpersonen bellen, hierbij wordt gecontroleerd of de persoon 
voldoet aan de criteria. Proefpersoon krijgt beknopt informatie over de test en 
de locatie van de test. 

• Bevestiging van de afspraak, de afspraak wordt definitief vastgelegd, zowel 
per mail als per sms. 

• Herinnering, een dag of de zaterdag voor de test worden de proefpersonen 
herinnerd aan de afspraak via mail, sms of telefonisch. 

• Proefpersonen die uitvallen vervangen, gedurende de test is er een reserve- 
poule beschikbaar van proefpersonen die direct mee kunnen doen als dat 
nodig is. Er worden 10% - 15% meer proefpersonen geworven dan benodigd. 

• Terugkoppeling, op de testdagen houden firMM en het wervingsbureau 
voortdurend bij welke proefpersonen wel en niet zijn gekomen. Als de 
opkomst tegenvalt, kan het wervingsbureau snel vervangende proefpersonen 
sturen die voldoen aan de vereiste criteria. 

Op basis van de criteria die het ministerie van BZK in de offerteaanvraag heeft 
gesteld, is de volgende steekproef getrokken voor gebruikersgroep A. Deze 
proefpersonen moeten in 2014 zelfstandig hebben gestemd voor de verkiezing 
van de leden van de gemeenteraden en/of de leden van het Europees Parlement. 
Deze vraag is hen gesteld in de wervingsprocedure. 
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Steekproef gebruikersgroep A 

% 

Min. 

Gem. 

Max. 

Geslacht 





Vrouw 

50% 

190 

200 

210 

Man 

50% 

190 

200 

210 

Leeftijd 





18 - 40 

30% 

114 

120 

126 

40 - 60 

40% 

152 

160 

168 

60 - 80 

25% 

95 

100 

105 

80 + 

5% 

19 

20 

21 

Opleiding* 





Lager 

30% 

114 

120 

126 

Hoger 

30% 

114 

120 

126 

Lager, hoger, of middelbaar 

40% 

152 

160 

168 

Regionale spreiding 





Stedelijk gebied 

50% 

190 

200 

210 

Landelijk gebied 

30% 

114 

120 

126 

Overig 

20% 

76 

80 

84 


* Lager: basisonderwijs, vmbo, mbol 
Middelbaar: mbo2, mbo3, mbo4, havo, vwo 
Hoger: hbo, wo-bachelor, wo-master, doctor 


4.2 Werving gebruikersgroep B 

Gebruikersgroep B moet bestaan uit proefpersonen die om uiteenlopende 
redenen nu niet of in onvoldoende mate in staat zijn om zelfstandig te stemmen 
met het papieren stembiljet dat gebruikt wordt bij verkiezingen. 

Het gaat om: 

- 30 blinden: (maatschappelijk/sociaal) blinden, minder dan 5% visus (via de 
Oogvereniging); 

- 30 slechtzienden: zijn zondereen hulpmiddel (anders dan bril, lenzen) en bij 
normale verlichting niet in staat zelfstandig op het huidige stembiljet de keuze te 
maken die zij willen (via de Oogvereniging); 

- 30 licht verstandelijk beperkten: kan iedereen zijn die vanwege een 
verstandelijke beperking (dus niet een psychische stoornis) bij Presikhaaf 
Bedrijven werkt (via Presikhaaf Bedrijven); 

- 30 laaggeletterden: mensen die in geen enkele taal goed kunnen lezen en 
schrijven, maar niet vanwege een verstandelijke beperking. Het maakt niet uit of 
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ze Nederlands spreken of een andere taal (via Presikhaaf Bedrijven en via ROC 

Midden Nederland). 

4.3 Inplanning en registratie van proefpersonen 

Voor de test van 3 en 4 december in Utrecht 

• Per uur worden gemiddeld 22 proefpersonen groep A verwacht, en 4 
proefpersonen uit groep B (blinden, slechtzienden, laaggeletterden). 1 

• De testcoördinator ontvangt ieder uur van het wervingsbureau een overzicht 
met circa 26 ingeplande proefpersonen. Hierop staan van elke proefpersoon 
de volgende gegevens: nummer, voornaam, achternaam, m/v, leeftijd, 
opleidingsniveau, stedelijkheid, kleurcode. Uit de kleurcode blijkt tot welke 
gebruikersgroep de proefpersoon behoort, en welke opdracht de proefpersoon 
moet doen (zie bijlage lb). 

Voor de test van 9 en 10 december in Arnhem (Presikhaaf) 

• Per uur worden 6a 8 proefpersonen uit groep B verwacht (licht verstandelijk 
beperkten, laaggeletterden, eventueel motorisch/fysiek beperkten). 

• Presikhaaf Bedrijven stelt voorafgaand aan de test een overzicht op met 
ingeplande proefpersonen en overhadigt dit aan de testcoördinator. Op het 
overzicht staan van elke proefpersoon de volgende gegevens: nummer, 
voornaam, achternaam, m/v, leeftijdscategorie, soort beperking, 
contactgegevens van de afdeling waar persoon werkt, kleurcode. Uit de 
kleurcode blijkt tot welke gebruikersgroep de proefpersoon behoort, en welke 
opdracht de proefpersoon moet doen. 

• Testcoördinator geeft kopie van het overzicht aan de gastvrouw en testers op 
de testlocatie. 

Vervolg voor groep A 2 

• Gastvrouwen vangen de proefpersonen op. 

• Gastvrouw vraagt naam proefpersoon, vinkt deze af op de lijst en ziet op de 
lijst welke kleurcode bij proefpersoon hoort. 

• Gastvrouw pakt mapje 3 met de juiste kleurcode. 

• Gastvrouw ziet op de lijst welk nummer bij de proefpersoon hoort en pakt de 
stickers met het betreffende nummer (van elk nummer zijn er drie stickers). 


1 Voor een aantal proefpersonen uit groep B biedt firMM haal- en brengservice (bijv. van de 
stationshal Utrecht CS naar Meeting Plaza). Hierover zijn individuele afspraken gemaakt met de 
mensen die begeleiding nodig hebben. 

2 Voor blinden en slechtzienden loopt de registratie iets anders: zij worden door de gastvrouw 
persoonlijk begeleid naar de tester. De gastvrouw draagt het mapje over aan de tester. De 
proefpersoon krijgt de uitleg van de tester, dus niet in de wachtruimte. 

3 De mapjes zijn vooraf gereedgemaakt. Elk mapje bevat duidelijk zichtbaar een kleurcode, een huidig 
stembiljet, een dataformulier, een opdracht die correspondeert met de kleurcode. 
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• Gastvrouw geeft één sticker aan proefpersoon (die de sticker op de arm of 
borst plakt), plakt één sticker op de voorzijde van het mapje en één sticker op 
het dataformulier dat in het mapje zit. 

• Gastvrouw geeft het mapje mee aan proefpersoon, voor de tester. 

• Gastvrouw wijst proefpersoon de wachtruimte. Hier krijgt proefpersoon 
mondeling uitleg van de uitlegger, dit kan in een groepje gebeuren, bij de 
instructieposter aan de wand. 

• Proefpersoon wordt opgehaald door tester. 

• Proefpersoon overhandigt het mapje aan tester. Tester controleert of het 
nummer op de sticker van proefpersoon en op het mapje + dataformulier 
overeenkomen (zo nee: ga naar testcoördinator). 

• Nadat tester de simulatie voor proefpersoon heeft klaargezet op het 
aanraakscherm, noteert tester het sessienummer op het dataformulier 

• Na afronding van de test met een proefpersoon zorgt tester dat het 
dataformulier, alle geprinte biljetten + de opdracht, en ook het ingevulde 
huidige stembiljet, in het mapje worden gestopt. 

Afwijkende scenario's 

- Een proefpersoon meldt zich, maar staat niet op de lijst: 

- in Utrecht: gastvrouw meldt dit bij testcoördinator; testcoördinator checkt 
vervolgens of proefpersoon bekend is, en bijvoorbeeld op een andere tijd was 
ingepland. Als een proefpersoon niet bekend blijkt bij firMM/wervingsbureau, 
wordt deze niet toegelaten tot de test. 

- in Arnhem/Presikhaaf: coördinator overlegt met manager van Presikhaaf 
Bedrijven of de persoon alsnog kan/moet worden geregistreerd voor de test. 

- Een proefpersoon meldt via het wervingsbureau/via manager Presikhaaf aan 
testcoördinator dat hij/zij wat later komt: testcoördinator noteert dit en geeft dit 
door aan gastvrouwen. De proefpersoon wordt op later tijdstip ontvangen. 

- Een proefpersoon is niet aanwezig op de geplande tijd: 

- in Utrecht: gastvrouw meldt dit aan testcoördinator; deze geeft dit door aan 
het wervingsbureau dat meteen checkt of proefpersoon alsnog, wat later, 
komt; blijkt proefpersoon uit te vallen dan plant het wervingsbureau een 
nieuwe proefpersoon uit dezelfde categorie in, vooreen later tijdstip. 

- in Presikhaaf: coördinator belt met de afdeling (telefoonnummer staat op 
het overzicht) en probeert te regelen dat persoon of een vervanger alsnog 
komt. Als dat niet kan, meldt coördinator dit bij manager Presikhaaf die 
vervolgens probeert een nieuwe proefpersoon te regelen. 
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5 Instructies voor de medewerkers die de test gaan uitvoeren 

Op 28 november 2014 vindt een instructiebijeenkomst plaats op de TU Delft 
waarin de medewerkers over alle relevante punten van de test worden 
geïnformeerd en geïnstrueerd, en waarin alle testers gericht oefenen in het 
informeren van proefpersonen, het geven van de opdracht en het uitvoeren van 
de test. Uiteraard zijn ook de uitlegger en de gastvrouwen aanwezig op de 
instructiebijeenkomst en oefenen zich daar in de uitvoering van hun taken als 
beschreven in het protocol. Er zullen rollenspellen worden gedaan om de 
medewerkers goed te laten oefenen met diverse scenario's die zich bij de test 
kunnen voordoen. 

Het testprotocol (de Testinstructie) wordt vooraf toegestuurd, zodat ze zich 
inhoudelijk kunnen voorbereiden op de instructiedag. Voorde specifieke 
testprotocollen per gebruikersgroep zie bijlagen 2 t/m 5. Bij de Testinstructie was 
tevens een lijst met 'Vragen en antwoorden' gevoegd, zie bijlage 6. 

Op de instructiedag zijn vier simulaties van de stemprinter gebruiksklaar 
opgesteld. De bouwer van de proefopstellingen is aanwezig voor technische 
ondersteuning. 
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6 Instructies voor de proefpersonen 

Een schriftelijke instructie over het maken van een keuze op de simulatie hangt 
op posterformaat in de wachtruimte. Dezelfde instructie hangt op A3-formaat bij 
elke simulatie. De instructie bestaat uit technische tekeningen, ondersteund met 
zeer korte tekst. 

Mondelinge instructie 

Groep A krijgt mondeling een globale instructie van een uitlegger in de 
wachtruimte. De instructie is kort, men heeft bij de uitnodiging voor de test al 
achtergrondinformatie ontvangen. Vragen van proefpersonen worden beantwoord 
volgens de 'Vragen en antwoorden', zie bijlage 6. 

Uitlegger zegt voor groep A: 

'We testen een simulatie van een stemprinter. Op een computer wordt 
nagebootst hoe mensen een keuze zouden kunnen maken voor een partij en voor 
een kandidaat, en en hoe die keuze geprint kan worden. Ook wordt nagebootst 
hoe men bij een referendum 'voor', 'tegen' of 'blanco' kan kiezen. De computer 
heeft een aanraakscherm. 

Er is een verzonnen gemeenteraadsverkiezing en een verzonnen referendum. Dit 
is omdat het vaker gebeurt dat er meerdere verkiezingen tegelijk zijn, 
bijvoorbeeld voor de Provinciale Staten en de Waterschappen volgend jaar.' 

Vervolgens doorloopt uitlegger/tester mondeling de schriftelijke instructie, die 
aan de wand hangt. 

Ten slotte zegt uitlegger: 

'De test is anoniem: er komen geen persoonlijke gegevens van u in de 
testresultaten. Een tester haalt u zo meteen op en neemt u mee naar de 
testruimte. De test is bedoeld om na te gaan of u zelf, zonder hulp, de keuze kunt 
maken. Lukt het u niet, dan zal de tester u daarom niet helpen. Als u na 10 
minuten nog niet klaar bent dan zal de tester de test beëindigen .' 

Groep B krijgt de uitleg van de tester, in de testruimte. Zie de protocollen 
(bijlagen 3 t/m 5) voor de precieze uitleg die deze proefpersonen krijgen. 
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7 Vastlegging en waarborging correctheid van de resultaten 

Om te waarborgen dat de data achteraf herleid kunnen worden tot de 
geanonimiseerde proefpersonen wordt de volgende procedure gehanteerd: 

- firMM produceert voorafgaand aan de test het juiste aantal mapjes voor elke 
opdrachtvariant; 

- elke opdrachtvariant heeft een duidelijk zichtbare kleurcode op het mapje; 

- het mapje bevat alle documenten die de tester nodig heeft om de test bij deze 
proefpersoon af te nemen: een huidig stembiljet (bij groep A), de opdracht en 
een dataformulier. Het mapje is afgesloten met een elastiek zodat er niets uit kan 
vallen, en proefpersoon het niet zomaar kan openen. De gastvrouw vraagt ook 
aan proefpersoon om het mapje dicht te laten en gesloten aan tester te geven; 

- op de testdag beschikt firMM over overzichten van ingeplande proefpersonen, 
bij elke proefpersoon staan een uniek nummer en de kleurcode (uit de kleurcode 
blijkt tot welke gebruikersgroep de proefpersoon hoort, en welke opdracht deze 
moet doen); 

- de gastvrouw beschikt over vooraf geprinte stickervellen waarop ieder nummer 
op drie stickers is geprint. De gastvrouw geeft één sticker met het juiste nummer 
aan een proefpersoon, die deze op de borst plakt. De gastvrouw plakt de andere 
stickers met hetzelfde nummer op de voorzijde van het mapje en op het 
dataformulier dat in dat mapje zit; 

- de gastvrouw geeft de proefpersoon het mapje, voor de tester. 

- proefpersoon overhandigt het mapje aan de tester, die de nummers van 
proefpersoon, mapje en dataformulier controleert; 

- tester neemt vervolgens de test af met de opdracht uit het mapje. De tester 
werkt hierbij strikt volgens het testprotocol, en voert elke test op dezelfde manier 
uit, precies zoals dat voorafgaand aan de test is geïnstrueerd en geoefend; 

- tester bergt alle stukken per proefpersoon op in het mapje, ook de geprinte 
stembiljetten en het ingevulde huidige stembiljet en het ingevulde dataformulier. 
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8 Opzet van de rapportage over de resultaten 

De rapportage bevat de volgende onderdelen, in een Excel-bestand: 

• Geanonimiseerd overzicht van de proefpersonen uit gebruikersgroep A (met 
vermelding van (leeftijd)scategorie, stedelijkheid, opleidingsniveau, geslacht); 

• Geanonimiseerd overzicht van de proefpersonen uit gebruikersgroep B, 
uitgesplitst naar type beperking (met vermelding van leeftijd(scategorie), 
geslacht); 

• overzicht van de gemaakte keuzes op de geprinte stembiljetten en op het 
huidige stembiljet; 

• overzicht van de door de tester ingevulde data op de dataformulieren. 

Tevens zal een verslag van de opzet en het verloop van de test bij de resultaten 
worden gevoegd. Alle mapjes van de proefpersonen worden bijgevoegd, deze 
bevatten alleen anonieme gegevens. 

Tijdens het opstellen van de rapportage wordt regelmatig terugkoppeling 
gegeven aan het ministerie van BZK en worden alle aspecten van de rapportage 
afgestemd met opdrachtgever en waar nodig met de TU Delft. 
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Bijlage la De opdrachten en aan te bieden interactie aan 
proefpersonen 


Aan te bieden interactie voor uitvoering opdracht 

Groep A 

De proefpersonen van groep A krijgen alleen het aanraakscherm aangeboden, 
dus zonder auditieve ondersteuning of fysieke knoppen. 

Een uitzondering geldt als de tester vaststelt dat een proefpersoon uit groep A 
(zeer) slechtziend is of fysiek/motorisch beperkt en daarmee voldoet aan criteria 
die gelden voor groep B. In dat geval wordt de test afgenomen alsof het een 
proefpersoon uit groep B is (opdracht, extra interactie, tijdlimiet). 


Groep B 


Groep 

Kenmerken 

Interactie 

Vervolgactie bij falen 
proefpersoon 

Bl-B 

Blind 

100% Auditieve Interactie 
+ knoppen 

geen 

B2-S 

Slechtziend 

Aanraakscherm 

Auditieve ondersteuning 

B3-L 

Laaggeletterd 

Aanraakscherm 

Auditieve ondersteuning 

B4-V 

Licht verstandelijk 
gehandicapt 

Aanraakscherm 

Auditieve ondersteuning 


De opdrachtvarianten 

Alle proefpersonen, behalve blinden: opdracht met huidig stembiljet 
- Maak een keuze voor de gemeenteraad: 

- lijst 4 kandidaat 2 


Groep A: drie opdrachtvarianten met simulatie 
Variant 1 (voor 196 proefpersonen) 

- Maak de volgende keuzes: 

- voor de gemeenteraad: lijst 1 kandidaat 3 

- voor de gemeenteraad: lijst 13 kandidaat 25 

- voor het referendum: kies 'Voor' 


Variant 2 (voor 196 proefpersonen) 

- Maak de volgende keuzes: 

- voor de gemeenteraad: lijst 20 kandidaat 5 

- voor de gemeenteraad: lijst 2 kandidaat 43 

- voor het referendum: kies 'Voor' 
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Variant 3 (voor 8 proefpersonen, van wie 2 uit elke leeftijdscategorie) 

- Maak de volgende keuzes: 

- voor de gemeenteraad: blanco 

- voor de gemeenteraad: lijst 13 kandidaat 25 

- voor het referendum: kies 'Voor' 

Groep B, uitgezonderd blinden: 2 opdrachtvarianten met simulatie 
Variant 1 (voor 15 proefpersonen van elke deeldoelgroep B) 

- Maak een keuze voor de gemeenteraad: 

- lijst 1 kandidaat 3 

- Maak een keuze voor de gemeenteraad: 

- lijst 13 kandidaat 25 

Variant 2 (voor 15 proefpersonen per deeldoelgroep B) 

- Maak een keuze voor de gemeenteraad: 

- lijst 20 kandidaat 5 

- Maak een keuze voor de gemeenteraad: 

- lijst 2 kandidaat 43 

Let op! Voor slechtziende en verstandelijk beperkte proefpersonen geldt: als ze 
falen bij de eerste opdrachtuitvoering, krijgen ze een tweede mogelijkheid om de 
opdracht uit te voeren, maar dan mét auditieve ondersteuning. Er is sprake van 
falen: 

als een ppn er niet in slaagt om minstens 1 stembiljet te printen binnen de 
tijdlimiet, terwijl er geen sprake is van een technisch probleem. 

Groep B, blinden: 2 opdrachtvarianten met simulatie 
Variant 1 (voor 15 blinde proefpersonen) 

- Maak de volgende keuzes: 

- voor de gemeenteraad: lijst 1 kandidaat 3 

- voor het referendum: kies 'Tegen' 

Variant 2 (voor 15 blinde proefpersonen) 

- Maak de volgende keuzes: 

- voor de gemeenteraad: lijst 13 kandidaat 25 

- voor het referendum: kies 'Tegen' 
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Bijlage 1b Kleurcodes voor opdrachten en gebruikersgroepen 


Groep A: 

Opdracht 1: Rood = Al 
Opdracht 2: Blauw =A2 
Opdracht 3: Groen =A3 

Blinden: 

Opdracht 1: Geel = B.BI 1 
Opdracht 2: Oranje = B.BI2 

Slechtzienden: 

Opdracht 1: Zwart = B.Szl 
Opdracht 2: Paars = B.Sz2 

Laaggeletterden: 

Opdracht 1: Zwart/rose = B.LI1 
Opdracht 2: Paars/rose = B.LI2 

Licht verstandelijk beperkten: 

Opdracht 1: Zwart/blauw = B.Vbl 
Opdracht 2: Paars/blauw = B.Vb2 

Licht motorisch/fysiek beperkten: 

Opdracht 1: Zwart/groen = B.Fbl 
Opdracht 2: paars/groen = B.Fb2 
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Bijlage 2 Protocol voor testers groep A (Testinstructie) 


Testinstructie 


Voor medewerkers aan de test 
met de simulatie van een stemprinter 
op 3 en 4 december 2014 


Opgesteld door: firMM information / service design B.V. 
Datum: 1 december 2014 
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1 Testdata en locatie 


De testdagen 

De tests vinden plaats op: 

woensdag 3 en donderdag 4 december 2014 

van 9.00 tot 21.00 uur 

Aanwezig zijn om 8.30 uur 

Plaats: 

Meeting Plaza (nabij Utrecht CS, in Hoog Catharijne) 
Godebaldkwartier 20, 3511 DX Utrecht 
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2 Doel en opzet van de test 


Doel van de test 

De test is bedoeld om na te gaan of proefpersonen op de simulatie van een 
stemprinter zelfstandig een keuze kunnen maken vooreen verkiezing en de 
keuze kunnen printen. 

Testopzet 

Op 3 en 4 december komen er ruim 400 proefpersonen die een doorsnee uit de 
kiesgerechtigde bevolking vertegenwoordigen. Daarnaast komt er een aantal 
proefpersonen met een beperking: circa 30 blinde, 30 slechtziende en enkele 
laaggeletterde proefpersonen. De proefpersonen met een beperking worden door 
twee specifiek geïnstrueerde testers getest. 

Er zijn vier proefopstellingen waarmee de werking van een stemprinter wordt 
gesimuleerd. Bij elke proefopstelling werken twee testers, elk aan een tafel; 
beiden voeren zelfstandig tests uit. 

Eén van de proefopstellingen is gereserveerd voor het afnemen van de test bij 
blinden en slechtzienden. 

De proefopstellingen worden opgesteld, en aan- en uitgezet door de bouwer 
ervan. De bouwer is tijdens de test op de locatie aanwezig voor technische 
ondersteuning. 

Tijdens de test wordt een meervoudige verkiezing gesimuleerd: een verzonnen 
gemeenteraadsverkiezing met fictieve lijsten en kandidaten en een fictief 
referendum. De proefpersoon krijgt een opdracht om bepaalde keuzes te maken 
en te controleren of de keuzes op de geprinte stembiljetten correct zijn. Er zijn 
diverse opdrachtvarianten die verdeeld worden over de proefpersonen. 

De proefpersoon krijgt GEEN HULP bij het uitvoeren van de opdracht op de 
simulatie. De tester KIJKT NIET MEE als de proefpersoon de opdracht uitvoert. 
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Globale werkwijze 

Voor de exacte werkwijze zie bijlagen a t/m e. 

• Per uur worden gemiddeld 26 proefpersonen verwacht. 

• Gastvrouw vangt de proefpersonen op. 

• Gastvrouw vraagt naam proefpersoon, vinkt deze af op de lijst en pakt een 
mapje 4 met de juiste kleurcode voor deze proefpersoon (kleurcode staat 
vermeld bij iedere naam op de lijst). 

• Gastvrouw ziet op de lijst welk nummer bij de proefpersoon hoort en pakt de 
stickers waarop het betreffende nummer is geprint (van elk nummer zijn er 
drie stickers). 

• Gastvrouw geeft één sticker aan proefpersoon (die de sticker op de borst 
plakt), plakt één sticker op de voorzijde van het mapje en één sticker op het 
dataformulier dat in het mapje zit. 

• Gastvrouw geeft het mapje mee aan proefpersoon, voor de tester. 

• Gastvrouw wijst proefpersoon de wachtruimte. 

• In de wachtruimte krijgt proefpersoon mondeling uitleg van de 'uitlegger', dit 
kan in een groepje gebeuren, bij de instructieposter aan de wand. 

• Proefpersoon wordt opgehaald door tester. 

• Proefpersoon overhandigt het mapje aan tester. Tester controleert of het 
nummer op de sticker van proefpersoon en op het mapje + dataformulier 
overeenkomen (zo nee: ga naar testcoördinator). 

• Tester geeft vervolgens de opdracht uit het mapje aan de proefpersoon. 

• Tester neemt proefpersoon mee naar de simulatie, noteert het sessienummer 
op het dataformulier en laat proefpersoon starten met de sessie. 

• Tester beëindigt de sessie altijd door middel van de oranje knop op het 
toetsenbord. 

• Tester neemt de geprinte stembiljetten en de opdracht van proefpersoon in. 

• Tester vraagt proefpersoon om een huidig stembiljet in te vullen. 

• Na afronding van de test met een proefpersoon stopt tester het dataformulier, 
alle geprinte biljetten + de opdracht, plus het ingevulde huidige stembiljet, in 
het mapje. Het mapje wordt opgeborgen in een doos/krat, aanwezig op de 
werkplek van elke tester. 


4 De mapjes zijn vooraf gereed gemaakt. Elk mapje bevat duidelijk zichtbaar een kleurcode, een 
huidig stembiljet, een dataformulier, een opdracht die correspondeert met de kleurcode. 
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Bijlage a Algemeen protocol voor testmedewerkers 


Testtijden: 9.00 - 21.00 uur 

Testmedewerkers zijn een half uur voor aanvang aanwezig op de testlocatie 


Bij vragen of problemen 

Bel: 

testcoördinator: xxx, telefoon: xxx 
vervangende testcoördinator: xxx, telefoon: xxx 

Sta pers (en andere personen/instanties met vragen) nooit zelf te woord. 

Verwijs ze naar de (vervangende) testcoördinator. Deze kan doorverwijzen naar de 
afdeling voorlichting van het ministerie van BZK, 
woordvoerder: xxx, telefoon xxx. 


Het is belangrijk dat iedereen de test op dezelfde manier uitvoert! 
Werk systematisch, nauwkeurig en geconcentreerd! 


Organisatie 

1. Voorafgaand aan de test (thuis) 

Testinstructie 

Bestudeer de Testinstructie voorafgaand aan de test. Zorg ook 
dat je de Q&A van A tot Z kent! 

2. Voorafgaand aan de test tussen 8.30 en 9.00 uur 

Aankomst op de 
testlocatie 

8.30 aankomst op de testlocatie. 

Meld je bij de testcoördinator. 

Controleer het testmateriaal op je werktafel en in de 
testruimte: 

Testinstructie (incl. Q&A) 

ordner(s), kratten en dozen 

kaart met opdracht voor huidig stembiljet 

uitleg simulatie op poster aan de wand 

stopwatch (op 00 gezet), pennen en nietmachine 

stembiljetten en rode potloden 

leesbrillen 


Login zorgt dat de simulaties aan worden gezet. Login zorgt dat 
de papierbakken van de printers altijd voldoende gevuld zijn. 


A.3. Op de eerste testdag, na de eerste 2 uur testen 

Evaluatie 

Bespreken eerste ervaringen, knelpunten etc., en mogelijkheid tot 
bijsturen van het protocol op details. De evaluatie zal in twee 
ploegen plaatsvinden omdat er continue proefpersonen 
binnenkomen. 
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A.4. Gedurende de testdag 

Protocol 

Werk strikt volgens het protocol. 

Pauzes 

Stem je pauzes af met de testcoördinator en met je collega- 
tester: 15 minuten ochtendpauze, 30 minuten lunchpauze, 15 
minuten middagpauze en 30 minuten avondpauze. 

Verlaat tijdens je pauze de testruimte. 

Voor koffie, thee, lunch en avondeten wordt gezorgd. 

Etenswaren 

Niet eten of drinken in de testruimte/in aanwezigheid van 
proefpersonen, uitgezonderd water, koffie, thee. 

Bij twijfel, vragen of 
onregelmatigheden 

Neem contact op met de testcoördinator voor overleg. 

Geef nooit eigen interpretaties of invulling aan de test. 

A.5. Na afloop van de testdag om 21.00 uur 

Afmelden 

Draag je ordner(s) met mapjes van proefpersonen en alle andere 
testmaterialen over aan de testcoördinator. 
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Bijlage b Protocol voor de gastvrouwen 


Ontvangen, registreren en begeleiden van proefpersonen 

Gastvrouw ziet Gastvrouw zegt: 'Komt u voor de test met de stemprinter- 

_ proefpersoon simulatie?' Zo ja: 'Wat is uw naam?' _ 

Gastvrouw zoekt Gastvrouw vinkt de naam af op de lijst en pakt een mapje met de 
naam op in de lijst, kleurcode voor deze proefpersoon (kleurcode staat op de lijst), 
proefpersoon is NIET 

blind of slechtziend Gastvrouw ziet op de lijst welk nummer bij de proefpersoon hoort 
en pakt de stickers waarop het betreffende nummer is geprint 
(van elk nummer zijn er drie stickers). 

Gastvrouw geeft één sticker aan proefpersoon (die de sticker op 
de borst plakt), plakt één sticker op de voorzijde van het mapje 
en één sticker op het dataformulier dat in het mapje zit. 

Gastvrouw geeft het mapje mee aan proefpersoon, voor de tester. 
Gastvrouw wijst proefpersoon de wachtruimte. 

Als proefpersoon blind of slechtziend is: 

Gastvrouw houdt het mapje zelf vast, en vraagt proefpersoon hoe 

ze deze kan begeleiden, 

begeleidt proefpersoon naar de wachtruimte 

en blijft bij proefpersoon tot ze deze, mét het mapje, persoonlijk 

overdraagt aan de tester. 

Na afloop van de test draagt tester de proefpersoon weer over 
aan de gastvrouw. 

_ Gastvrouw begeleidt proefpersoon naar de uitgang. _ 

Mogelijke situaties _ 

Blinde of slechtziende Gastvrouw vraagt begeleider te wachten in de algemene 
proefpersoon heeft wachtruimte tot proefpersoon klaar is. Daar is koffie/thee 
een begeleider bij beschikbaar voor de begeleider. 

zich. Gastvrouw registreert de proefpersoon met de stickers. 

Gastvrouw begeleidt proefpersoon naar de tester en draagt deze, 
mét het mapje, persoonlijk over aan de tester. 

Gastvrouw biedt begeleider koffie/thee aan. 

Na afloop van de test begeleidt gastvrouw de proefpersoon naar 
de begeleider en neemt afscheid. 

Gastvrouw zegt: 'De test is bedoeld om na te gaan of gebruikers 
uit verschillende doelgroepen zelf, zonder hulp, een keuze kunnen 
maken op de stemprinter-simulatie. De test wordt uitsluitend 
uitgevoerd met proefpersonen die vooraf zijn aangemeld voor de 
test. Begeleiding is niet toegestaan in de testruimte. Ik zal [naam 
proefpersoon] zelf begeleiden naar de testruimte en weer naar u 
terugbrengen.' 

Als begeleider weigert in de algemene wachtruimte te blijven: bel 
testcoördinator. 

Begeleider en/of Geef Q&A-antwoorden, en biedt het Reactieformulier aan. 
proefpersoon blijven Bel testcoördinator. 
vragen stellen of 
discussie uitlokken 

Begeleider of Beantwoord vragen uitsluitend volgens de Q&A-lijst. 
proefpersoon blijkt Bel testcoördinator. Verwijs naar voorlichting van ministerie van 
een journalist te zijn BZK. Sta onder geen beding toe dat onbevoegden testruimtes 
binnengaan, of dat er gefilmd of gefotografeerd wordt. Ook 
_ proefpersonen mogen niet filmen of fotograferen bij de test! _ 


Begeleider wil niet in 
de algemene 
wachtruimte blijven, 
maar mee naar de 
testruimte 
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Bijlage c Protocol voor de uitlegger 


De uitlegger zorgt dat alle proefpersonen die in de wachtruimte komen (niet 
blinde/slechtziende proefpersonen) de volgende instructie krijgen. Vragen van 
proefpersonen worden beantwoord volgens de lijst met 'Vragen en antwoorden' 
(Q&A). 

In de wachtruimte hangt een instructie op posterformaat over het maken van een 
keuze op de simulatie. (Dezelfde instructie hangt in elke testruimte bij de 
simulatie.) De instructie bestaat uit tekeningen, ondersteund met zeer korte 
tekst. 

Uitlegger geeft mondeling de volgende informatie: 

'We testen een simulatie van een stemprinter voor het ministerie van 
Binnenlandse Zaken en Koninkrijksrelaties. Op een computer kunt u een keuze 
maken voor een partij en voor een kandidaat, en die keuze kunt u printen. Ook 
kunt u een keuze 'Voor', 'Tegen' of 'Blanco' maken vooreen referendum. De 
computer heeft een aanraakscherm. De keuzes die u maakt, moet u printen. 

Er is een verzonnen gemeenteraadsverkiezing en een verzonnen referendum. Dit 
is omdat het vaker gebeurt dat er meerdere verkiezingen tegelijk zijn.' 

Als de simulatie voor echte verkiezingen zou worden gebruikt dan zouden de 
prints uw stembiljetten zijn. Deze zou u dan in een stembus moeten stoppen. 
Tijdens de test geeft u ze af aan de tester. 

De testresultaten worden anoniem verwerkt. 

Vervolgens doorloopt uitlegger kort mondeling de instructie, die aan de wand 
hangt. 

Ten slotte zegt uitlegger: 

'Een tester haalt u zo meteen op en neemt u mee naar de testruimte. De tester 
geeft u een opdracht. De test is bedoeld om na te gaan of u zelf, zonder hulp, de 
keuze kunt maken. Als u na 10 minuten niet klaar bent, zal de tester de test 
beëindigen .' 
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Bijlage d Protocol voor testers (groep A) 


Afname test GROEP A 


Tester zorgt dat simulatie op 'instellingenscherm' staat. 

Draag je stopwatch om je hals. 

Tester haalt 
proefpersoon op uit 
wachtruimte 

Proefpersoon geeft mapje aan tester. 

Tester controleert of het nummer op de sticker van proefpersoon 
en het nummer op het mapje overeenkomen (zo nee: ga naar 
testcoördinator). 

Tester geeft opdracht 
voor simulatie 

Tester zegt: 'U krijgt nu eerst van mij een opdracht om uit te 
voeren met het aanraakscherm en de printer .' 

Tester haalt de opdracht uit het mapje, toont deze aan 
proefpersoon, leest de opdracht voor: 'Maak twee keer een keuze 
voor de gemeenteraad: een keer kiest u lijst [x], kandidaat [y], 
en een keer kiest u lijst [p], kandidaat [qj. Voor het referendum 
kiest u 'Voor'. Proefpersoon krijgt de schriftelijke opdracht mee. 

Tester gaat met de 
proefpersoon naar de 
simulatie 

Tester neemt het dataformulier en loopt daarmee, samen met de 
proefpersoon, naar de simulatie. 

Tester noteert het sessienummer (staat op het 
instellingenscherm) op het dataformulier. 


Tester kiest op het instellingenscherm de juiste categorie. 

Tester zegt tegen proefpersoon: 'Als u op 'Start' drukt, kunt u 
beginnen.' 

Tester verlaat de 
simulatie 

Tester start de stopwatch. Tester gaat naar de tafel. 

Tester houdt bij of de tijdlimiet wordt overschreden (10 min.). Bij 
overschrijding tijdslimiet, zie hierna bij Afwijkende scenario's: 5. 

Tester stopt de 
simulatie 

Zodra proefpersoon zich omdraait van de simulatie en wegloopt, 
stopt tester de sessie met het toetsenbord. 

Tester nodigt proefpersoon uit om aan tafel te komen zitten. 

Proefpersoon komt 
met een of meer 
stembiljetten uit de 
simulatie 

Tester bergt de geprinte stembiljetten en de schriftelijke opdracht 
op in het mapje. 

Opdracht huidig 
stembiljet 

Tester zegt: 'Ik vraag u om ook nog een keuze te maken op het 
huidige stembiljet. Dit is een stembiljet met verzonnen lijsten en 
verzonnen kandidaten, [tester geeft stembiljet] U krijgt van mij 
een opdracht. Maak een keuze voor lijst 8, kandidaat 4. ' [tester 
geeft kaart met deze opdracht]' 

Tester kijkt NIET mee terwijl proefpersoon het stembiljet invult. 
Tester neemt een zodanige positie in dat proefpersoon de nodige 
privacy heeft tot hij/zij klaar is met het stembiljet. 


Proefpersoon vult papieren stembiljet in, en geeft het biljet (al 
dan niet opgevouwen) terug aan tester. Tester bergt het 
ingevulde stembiljet op in het mapje. 


Tester zegt: 'Dankuwel. Nu heb ik nog een paar vragen voor u.' 

Tester pakt het 
dataformulier 

Tester stelt de vragen. 

Tester kruist de antwoorden op het dataformulier aan/vult ze in. 

Afsluiten test 

Tester bedankt de proefpersoon en neemt afscheid. 

Tester controleert of alle relevante data op het formulier zijn 
ingevuld, en completeert waar nodig de data. 
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Afwijkende scenario's 
tijdens 
opdrachtuitvoering 

1. Proefpersoon komt Tester handelt als in standaard situatie. Bij invullen van 

met minstens één dataformulier vinkt tester aan dat de betreffende afwijkende 
geprint stembiljet uit situatie zich heeft voorgedaan. 

de simulatie, maar 
had er méér moeten 
hebben volgens de 
opdracht 

2. Proefpersoon zegt Tester stopt de sessie met het toetsenbord. 

dat de simulatie is Tester start zelf een nieuwe sessie om na te gaan of de simulatie 
vastgelopen/niet inderdaad is vastgelopen/niet werkt. Tester zorgt dat 
werkt, of dat er geen proefpersoon niet meekijkt (anders krijgt de proefpersoon een 
stembiljet uit de demonstratie die andere proefpersonen niet krijgen). 

printer komt Zo ja, er is een technisch probleem : tester roept technische 

ondersteuning en testcoördinator. Tester vult het dataformulier in 
voor zover van toepassing in deze situatie. Tester stopt 
dataformulier in het mapje. Als proefpersoon al een of meer 
stembiljetten had geprint, stopt tester ze in het mapje. 
Proefpersoon wordt, met het volledige mapje, overgedragen aan 
andere tester om daar opnieuw te starten met dezelfde, gehele, 
opdracht voor de simulatie. De nieuwe tester vermeldt het nieuwe 
sessienummer op hetzelfde dataformulier. 

Zo nee, er is geen technisch probleem : proefpersoon krijgt een 
herkansing om dezelfde opdracht één keer helemaal opnieuw uit 
te voeren. Tester registreert de situatie bij het oude 
sessienummer op het dataformulier. Tester start een nieuwe 
sessie en noteert het nieuwe sessienummer op het dataformulier 
en vraagt proefpersoon om te starten met de opdracht. Et cetera. 

3. Proefpersoon Tester zegt: 'Ik mag u niet helpen want de test is bedoeld om na 
vraagt vanuit de te gaan of u zelf, zonder hulp, een keuze kunt maken en een 
simulatie om hulp stembiljet kunt printen. Als u wilt, mag u het zelf nog verder 
proberen. Maar als u niet verder kunt met de opdracht, mag u 
stoppen en naar mij toe komen.' Tester BLIJFT OP AFSTAND. 

Zodra proefpersoon wegloopt van de simulatie, stopt tester de 
sessie met het toetsenbord. 

Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje, evenals eventueel 
geprinte stembiljetten. Tester stelt de vragen en vult het 
dataformulier in. 

4. Proefpersoon zegt Tester stopt de sessie met het toetsenbord. 

dat het geprinte Tester neemt het betwiste biljet in, en schrijft erop wat de 
stembiljet niet klopt proefpersoon heeft gezegd. Tester stopt dit biljet samen met 
eventuele andere al geprinte stembiljetten in het mapje. 
Proefpersoon krijgt een herkansing om dezelfde opdracht één keer 
helemaal opnieuw uit te voeren. Tester zet de simulatie terug bij 
'Start'. Tester noteert het nieuwe sessienummer op het 
dataformulier en vraagt proefpersoon om te starten met de 
opdracht. Et cetera. 


Lees verder op 
volgende pagina 
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5. De tijdlimiet van 
10 minuten is bijna 
om en proefpersoon 
is nog niet klaar met 
de opdracht op de 
simulatie 

Als er circa 8 minuten zijn verstreken, zegt tester: 'U heeft nog 
ruim 2 minuten voor de opdracht .' 

Als de 10 minuten om zijn zegt tester: 'U mag stoppen met de 
opdracht want de tijd is om. 'Tester stopt de sessie met het 
toetsenbord. 

Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje, evenals eventueel 
geprinte stembiljetten. Tester stelt de vragen en vult het 
dataformulier in. 

6. Proefpersoon is 
binnen de tijdlimiet 
zonder stembiljet uit 
de simulatie 
gekomen, en er is 
geen technisch 
probleem 

Tester stopt de sessie met het toetsenbord. 

Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje. Tester stelt de vragen en 
vult het dataformulier in. 

7. Proefpersoon blijkt 
slechtziend 
of laaggeletterd 
(omdat hij/zij zelf 
zegt niet te kunnen 
lezen) 

Roep testcoördinator, of specifieke tester voor 
slechtzienden/laaggeletterden. Test wordt afgenomen volgens 
protocol voor slechtzienden dan wel laaggeletterden. 

Afronden van de test met een proefpersoon 

De test is afgerond 

Bedank proefpersoon kort en vriendelijk. 

IMogelijk: 
proefpersoon gaat 
niet weg 

Ga niet in op inhoudelijke aspecten van de test of de simulatie. 

Geef vriendelijk maar duidelijk aan dat de test klaar is, loop een 
stukje mee richting de uitgang. Blijft een proefpersoon 
aanhouden, haal dan de testcoördinator erbij. 

Als proefpersoon 
vragen stelt 

Tester beantwoordt de vragen conform de antwoorden in de Q&A- 
lijst. 


Samenvatting mogelijke situaties in 
simulatie 

Vervolghandeling 

Proefpersoon heeft minstens 1 stembiljet 
geprint en is van de simulatie weggelopen 

Tester stopt de sessie 

Stel proefpersoon op gemak 

Proefpersoon mag het NIET overdoen 

Proefpersoon kon de opdracht niet 
uitvoeren, en is binnen de tijdlimiet zelf 
gestopt met de opdracht 

Proefpersoon overschrijdt de tijdlimiet van 

10 minuten voor het uitvoeren van de 
opdracht op de simulatie 

Proefpersoon zegt zich te hebben vergist/ 
of een fout te hebben gemaakt bij het 
printen van een stembiljet 

Tester stopt sessie 

Tester start nieuwe sessie en laat 
proefpersoon de HELE opdracht 
overnieuw doen 
(bij vergissing of foute print: één 
herkansing) 

Proefpersoon geeft aan dat de simulatie 
niet goed werkt / dat er een technisch 
probleem is /dat er geen papier uit de 
printer komt 

Proefpersoon vraagt vanuit de simulatie om 
hulp bij het uitvoeren van de opdracht 

Tester zegt dat de test bedoeld is om na te 
gaan [etc.] (zie protocol) / dat 
proefpersoon zelf mag weten hoe / in welke 
volgorde hij de opdracht uitvoert. 

Tester biedt GEEN hulp 
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Bijlage 3 Protocol voor testers van groep B, blinden 


Afname test bij Blinden _ 

Tester zorgt dat de simulatie op 'instellingenscherm' staat, en 
dat de koptelefoon en knoppen bij de simulatie klaarstaan. 

Tester draagt stopwatch om de hals. 

Gastvrouw begeleidt Gastvrouw introduceert proefpersoon bij tester en geeft mapje 
proefpersoon naar aan tester. 

tester Tester geeft proefpersoon een hand en stelt zich voor: 'Ik ben 
[naam ], ik ga met u de test af nemen .' 

Tester controleert of het nummer op de sticker van proefpersoon 
en het nummer op het mapje en op het dataformulier 
overeenkomen (zo nee: ga naar testcoördinator). 

Tester begeleidt Tester vraagt: 'Hoe mag ik u begeleiden naar de simulatie?' 
proefpersoon naar de Proefpersoon zegt hoe hij/zij begeleid wil worden. 

simulatie Tester neemt de opdracht en het dataformulier en begeleidt de 
blinde proefpersoon naar de simulatie. 

Tester noteert het sessienummer (staat op het 
instellingenscherm) op het dataformulier. 

Tester geeft Tester zegt: 'We testen een simulatie van een stemprinter voor 
mondeling algemene het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Op 
informatie over de een computer kunt u een keuze maken voor een partij en voor 

test een kandidaat, en die keuze kunt u printen. Ook kunt u een keuze 
'Voor', 'Tegen' of 'Blanco' maken vooreen referendum. De keuzes 
die u maakt, moet u printen. 

Er is een verzonnen gemeenteraadsverkiezing en een verzonnen 
referendum. Dit is omdat het vaker gebeurt dat er meerdere 
verkiezingen tegelijk zijn.' 

Als de simulatie voor echte verkiezingen zou worden gebruikt dan 
zouden de prints uw stembiljetten zijn. Deze zou u dan in een 
stembus moeten stoppen. Tijdens de test geeft u ze af aan de 
tester. 

De testresultaten worden anoniem verwerkt. 

Ik geef u zo een opdracht. De test is bedoeld om na te gaan of u 
zelf, zonder hulp, de keuze kunt maken. Als u na 15 minuten niet 
klaar bent, zal ik de test beëindigen.' 

Tester geeft instructie Tester legt de werking van de het apparaat uit: 

over de simulatie 'We staan nu voor een apparaat waarmee u een stembiljet kunt 
printen met de door u gemaakte keuzes. U krijgt via een 
koptelefoon instructies over de bediening. De koptelefoon staat 
iets links voor u. [proefpersoon voelt deze op de tast] U kunt het 
volume aanpassen met de knop aan de zijkant.' [tester laat dit 
voelen] 'Voor u staat een kastje met knoppen, [proefpersoon 
voelt deze op de tast] Via de koptelefoon krijgt u uitleg over de 
werking van de knoppen. Rechts van u staat de printer. De 
geprinte stembiljetten komen er aan de bovenkant uit.' [Als 
proefpersoon iets niet kan vinden zegt tester: 'Mag ik uw hand 
leiden naar...'] 

Tester geeft opdracht Tester zegt: 'Uw opdracht is om twee keuzes te maken voor een 
voor simulatie verzonnen verkiezing en een verzonnen referendum.' 

Tester leest de opdracht voor. 'Maak een keuze voor de 
gemeenteraad: u kiest lijst [x], kandidaat [yj. Voor het 
referendum kiest u 'Tegen'. 

Tester zegt: 'Tijdens de test kan ik de opdracht nog eens herhalen 
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als u dat wilt.' 

Tester zegt: 'Bent u klaar om te beginnen? Dan kunt u de 
koptelefoon opzetten. De band start vanzelf. 

Tester kiest op instellingenscherm: Auditieve interactie groep B 

Tester verlaat de 
simulatie 

Tester start de stopwatch. Tester gaat naar de tafel. 

Tester houdt bij of de tijdlimiet wordt overschreden (15 minuten). 
Bij overschrijding tijdslimiet, zie hierna bij Afwijkende scenario's: 
situatie 5. 

Tester stopt de 
simulatie 

Tester stopt de sessie met het toetsenbord zodra proefpersoon 
zich omdraait van de simulatie/aangeeft klaar te zijn. 

Tester begeleidt 
proefpersoon naar de 
tafel 

Tester haalt proefpersoon op en zegt: 'Dankuwel. Ik begeleid u 
terug naar de tafel, waar ik een paar vragen aan u ga stellen .' 

Tester en proefpersoon gaan aan tafel zitten. 

Tester bergt de geprinte stembiljetten en de schriftelijke opdracht 
op in het mapje. 

Tester pakt het 
dataformulier 

Tester stelt de vragen. 

Tester kruist de antwoorden op het dataformulier aan/vult ze in. 

Afsluiten test 

Tester bedankt de proefpersoon en begeleid deze naar de 
gastvrouw voor uitgeleide. 

Tester controleert of alle relevante data op het formulier zijn 
ingevuld, en completeert waar nodig de data. 

Afwijkende scenario's 
tijdens 
opdrachtuitvoering 


1. Proefpersoon komt 
met minstens één 
geprint stembiljet uit 
de simulatie, maar 
had er méér moeten 
hebben volgens de 
opdracht 

Tester handelt als bij standaard situatie. Bij invullen van 
dataformulier vinkt tester aan dat de betreffende afwijkende 
situatie zich heeft voorgedaan. 

2. Proefpersoon zegt 
dat de simulatie is 
vastgelopen/niet 
werkt, of dat er geen 
stembiljet uit de 
printer komt 

Tester stopt de sessie met het toetsenbord en loopt naar de 
simulatie. 

Tester start zelf een nieuwe sessie om na te gaan of de simulatie 
inderdaad is vastgelopen/niet werkt. Tester zegt: 'Ik controleer 
het even, momentje .' 

Zo ja, er is een technisch probleem : tester roept technische 
ondersteuning en testcoördinator. Tester vult het dataformulier in 
voor zover van toepassing in deze situatie. Tester stopt 
dataformulier weer in het mapje. Als proefpersoon al een of meer 
stembiljetten had geprint, stopt tester deze in het mapje. Tester 
begeleidt proefpersoon, met het volledige mapje, naar een andere 
simulatie om daar opnieuw te starten met dezelfde opdracht. 

Tester vermeldt het nieuwe sessienummer op hetzelfde 
dataformulier. 


Zo nee: proefpersoon krijgt een herkansing om dezelfde opdracht 
uit te voeren. Tester registreert de situatie op het dataformulier. 
Tester noteert het nieuwe sessienummer op hetzelfde 
dataformulier en vraagt proefpersoon om te starten met de 
opdracht. Et cetera. 

3. Proefpersoon 
vraagt wat de 
opdracht ook al weer 
was 

Tester herhaalt de opdracht voor de proefpersoon. 
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4. Proefpersoon 
vraagt vanuit de 
simulatie om hulp 

Tester zegt: 'Ik mag u niet helpen want de test is bedoeld om na 
te gaan of u zelf, zonder hulp, een keuze kunt maken en een 
stembiljet kunt printen. Als u wilt, mag u het zelf nog verder 
proberen. Maar als u niet verder kunt met de opdracht, mag u 
stoppen. 'Tester BLIJFT OP AFSTAND. 

Zodra proefpersoon wegloopt van de simulatie, stopt tester de 
sessie met het toetsenbord. Tester haalt proefpersoon op. 


Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje, evenals eventueel 
geprinte stembiljetten. Tester stelt de vragen en vult het 
dataformulier in. 

5. De tijdlimiet van 
15 minuten is bijna 
om en proefpersoon 
is nog niet klaar met 
de opdracht op de 
simulatie 

Als er circa 13 minuten verstreken zijn, zegt tester: 'U heeft nog 
ruim 2 minuten voor de opdracht .' 

Als de 15 minuten om zijn zegt tester: 'U mag stoppen met de 
opdracht want de tijd is om. 'Tester haalt proefpersoon op. Tester 
stopt de sessie met het toetsenbord. 

Tester en proefpersoon gaan aan tafel zitten. Tester werkt de 
procedure met de proefpersoon aan tafel af. 

6. Proefpersoon is 
binnen de tijdlimiet 
zonder stembiljet uit 
de simulatie 
gekomen, en er is 
geen technisch 
probleem 

Tester stopt de sessie met het toetsenbord. Tester haalt 
proefpersoon op. 

Tester werkt de procedure met de proefpersoon aan tafel af. 

7. Proefpersoon zegt 
zich te hebben 
vergist/ 
of een fout te hebben 
gemaakt bij het 
printen van een 
stembiljet 

Tester stopt de sessie. Tester start nieuwe sessie en laat 
proefpersoon de HELE opdracht één keer overnieuw doen. 

Tester vermeldt het nieuwe sessienummer op hetzelfde 
dataformulier. 

8. Proefpersoon kan 
iets niet vinden 

Als bijvoorbeeld het knoppenkastje is gevallen, mag tester de 
proefpersoon helpen de knoppen weer goed neer te leggen. 

Als proefpersoon de geprinte stembiljetten niet kan vinden, mag 
tester de hand van proefpersoon leiden naar de stembiljetten (ze 
liggen op de kop in de printer, dus het stemgeheim komt niet in 
het geding); proefpersoon moet wel zelfde stembiljetten pakken. 

Afronden van de test met een proefpersoon 

De test is afgerond 

Bedank proefpersoon kort en vriendelijk. 

Begeleid proefpersoon de testruimte uit en draag over aan 
gastvrouw. 

Mogelijk: 
proefpersoon gaat 
niet weg 

Ga niet in op inhoudelijke aspecten van de test of de simulatie. 

Geef vriendelijk maar duidelijk aan dat de test klaar is, loop een 
stukje mee richting de uitgang en draag over aan gastvrouw. Blijft 
een proefpersoon aanhouden, haal dan de testcoördinator erbij. 

Mogelijk: proefpers. 
stelt vragen 

Tester beantwoordt de vragen conform de antwoorden in de Q&A- 
lijst 


Wat is specifiek aan het testprotocol voor blinden? 

Tester geeft de uitleg 

100% auditieve interface 

Opdracht: lx gemeenteraad en lx 
referendum 

Tester mag de opdracht herhalen als 
proefpersoon daar om vraagt 

Tester mag hulp bieden als proefpersoon 
iets zoekt (bijv. knoppen, geprinte 
stembiljetten), mits behoud v. stemgeheim 

Tijdlimiet 15 minuten 
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Bijlage 4 Protocol voor testers van groep B, slechtzienden 


Afname test GROEP B Slechtzienden 


Tester zorgt dat de simulatie op 'instellingenscherm' staat, en 
dat de koptelefoon en knoppen bij de simulatie zijn opgeborgen. 
Tester draagt stopwatch om de hals. 

Gastvrouw begeleidt 
proefpersoon naar 
tester 

Gastvrouw introduceert proefpersoon bij tester en geeft mapje 
aan tester. 

Tester geeft proefpersoon een hand en stelt zich voor: 'Ik ben 
[naam ], ik ga met u de test af nemen .' 

Tester en proefpersoon gaan aan tafel van tester zitten. 

Tester controleert of het nummer op de sticker van proefpersoon 
en het nummer op het mapje en op het dataformulier 
overeenkomen (zo nee: ga naar testcoördinator). 

Tester geeft 
mondeling algemene 
informatie over de 
test 

Tester zegt: 'We testen een simulatie van een stemprinter voor 
het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Op 
een computer kunt u een keuze maken voor een partij en voor 
een kandidaat, en die keuze kunt u printen. De computer heeft 
een aanraakscherm. De keuzes die u maakt, moet u printen. 

Er is een verzonnen gemeenteraadsverkiezing.' 

Als de simulatie voor echte verkiezingen zou worden gebruikt dan 
zouden de prints uw stembiljetten zijn. Deze zou u dan in een 
stembus moeten stoppen. Tijdens de test geeft u ze af aan de 
tester. 

De testresultaten worden anoniem verwerkt. 

Tester geeft instructie 
over de simulatie 

Tester loopt met proefpersoon naar de instructieposter aan de 
wand. Tester doorloopt kort de instructie aan de wand. 


Ten slotte zegt de tester: 

'Ik geef u zo een opdracht. De test is bedoeld om na te gaan of u 
zelf, zonder hulp, de keuze kunt maken. Als u na 15 minuten niet 
klaar bent, zal ik de test beëindigen.' 

Tester geeft opdracht 
voor simulatie 

Tester zegt: 'U krijgt nu eerst van mij een opdracht om uit te 
voeren met het aanraakscherm en de printer.' 

Tester haalt de opdracht uit het mapje, toont deze aan 
proefpersoon, leest de opdracht voor: 'Maak twee keer een keuze 
voor de gemeenteraad: een keer kiest u lijst [x], kandidaat [y], 
en een keer kiest u lijst [p], kandidaat [qj. Proefpersoon krijgt de 
schriftelijke opdracht mee. Als proefpersoon de opdracht niet kan 
lezen, zegt tester: 'U mag gerust een hulpmiddel gebruiken.' [er is 
een loep aanwezig in de testruimte] 

Tester begeleidt 
proefpersoon naar de 
simulatie 

Tester vraagt: 'Mag ik u begeleiden naar de simulatie?' 

Proefpersoon zegt of, en zo ja hoe hij/zij begeleid wil worden. 

Tester neemt het dataformulier en begeleidt de slechtziende 
proefpersoon naar de simulatie. 

Tester noteert het sessienummer (staat op het 
instellingenscherm) op het dataformulier. 

Als proefpersoon kan beginnen, kiest tester op het 
instellingenscherm: Aanraakscherm groep B 


Tester zegt tegen proefpersoon: 'Als u op "Start" drukt, kunt u 
beginnen.' 

Tester verlaat de 

Tester start de stopwatch. Tester gaat naar de tafel. 
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simulatie 

Tester houdt bij of de tijdlimiet wordt overschreden (15 minuten). 
Bij overschrijding tijdslimiet, zie hierna bij Afwijkende scenario's: 
situatie 5. 

Tester stopt de 
simulatie 

Tester stopt de sessie met het toetsenbord zodra proefpersoon 
zich omdraait van de simulatie/aangeeft klaar te zijn. Als het 
nodig is, haalt tester proefpersoon op uit de simulatie. 

Tester begeleidt 
proefpersoon naar de 
tafel 

Tester en proefpersoon gaan aan tafel zitten. 

Tester bergt de geprinte stembiljetten en de schriftelijke opdracht 
op in het mapje. 

Opdracht huidig 
stembiljet 

Tester zegt: 'Ik vraag u om ook nog een keuze te maken op het 
huidige stembiljet. Dit is een stembiljet met verzonnen lijsten en 
verzonnen kandidaten, [tester geeft stembiljet] U krijgt van mij 
een opdracht. Maak een keuze voor lijst 8, kandidaat 4. ' [tester 
geeft kaart met deze opdracht]' 

Tester kijkt NIET mee terwijl proefpersoon het stembiljet invult. 
Tester neemt een zodanige positie in dat proefpersoon de nodige 
privacy heeft tot hij/zij klaar is met het stembiljet. 


Proefpersoon vult papieren stembiljet in, en geeft het biljet (al 
dan niet opgevouwen) terug aan tester. Tester bergt het 
ingevulde stembiljet op in het mapje. 


Tester zegt: 'Dankuwei. Nu heb ik nog een paar vragen voor u .' 

Tester pakt het 
dataformulier 

Tester stelt de vragen. 

Tester kruist de antwoorden op het dataformulier aan/vult ze in. 

Afsluiten test 

Tester bedankt de proefpersoon en begeleidt deze naar de 
gastvrouw voor uitgeleide. 

Tester controleert of alle relevante data op het formulier zijn 
ingevuld, en completeert waar nodig de data. 

Afwijkende scenario's 
tijdens 
opdrachtuitvoering 


1. Proefpersoon komt 
met minstens één 
geprint stembiljet uit 
de simulatie, maar 
had er méér moeten 
hebben volgens de 
opdracht 

Tester handelt als bij standaard situatie. Bij invullen van 
dataformulier vinkt tester aan dat de betreffende afwijkende 
situatie zich heeft voorgedaan. 

2. Proefpersoon zegt 
dat de simulatie is 
vastgelopen/niet 
werkt, of dat er geen 
stembiljet uit de 
printer komt 

Tester stopt de sessie met het toetsenbord. 

Tester start zelf een nieuwe sessie om na te gaan of de simulatie 
inderdaad is vastgelopen/niet werkt. 

Zo ja, er is een technisch probleem : tester roept technische 
ondersteuning en testcoördinator. Tester vult het dataformulier in 
voor zover van toepassing in deze situatie. Tester stopt 
dataformulier weer in het mapje. Als proefpersoon al een of meer 
stembiljetten had geprint, stopt tester deze in het mapje. Tester 
begeleidt proefpersoon, met het volledige mapje, naar een andere 
simulatie om daar opnieuw te starten met dezelfde opdracht. 

Tester vermeldt het nieuwe sessienummer op hetzelfde 
dataformulier. 

3. Proefpersoon 
vraagt vanuit de 

Zo nee: proefpersoon krijgt een herkansing om dezelfde opdracht 
uit te voeren. Tester registreert de situatie op het dataformulier. 
Tester noteert het nieuwe sessienummer op het dataformulier en 
vraagt proefpersoon om te starten met de opdracht. Et cetera. 
Tester zegt: 'Ik mag u niet helpen want de test is bedoeld om na 
te gaan of u zelf, zonder hulp, een keuze kunt maken en een 
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simulatie om hulp 

stembiljet kunt printen. Als u wilt, mag u het zelf nog verder 
proberen. Maar als u niet verder kunt met de opdracht, mag u 
stoppen.' Tester BLIJFT OP AFSTAND. 

Zodra proefpersoon wegloopt van de simulatie, stopt tester de 
sessie met het toetsenbord. Als het nodig is haalt tester 
proefpersoon op uit de simulatie. 


Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje, evenals eventueel 
geprinte stembiljetten. Tester stelt de vragen en vult het 
dataformulier in. 

4.Proefpersoon zegt 
dat het geprinte 
stembiljet niet klopt 

Tester stopt de sessie met het toetsenbord. 

Tester neemt het betwiste biljet in en schrijft erop wat de 
proefpersoon heeft gezegd. Tester stopt dit biljet samen met 
eventuele andere al geprinte stembiljetten in het mapje. 
Proefpersoon krijgt een herkansing om dezelfde opdracht één keer 
helemaal opnieuw uit te voeren. Tester zet de simulatie terug bij 
'Start'. Tester noteert het nieuwe sessienummer op het 
dataformulier en vraagt proefpersoon om te starten met de 
opdracht. Et cetera. 

5. Proefpersoon is na 
15 minuten nog niet 
klaar met de opdracht 
op de simulatie 

Tester stopt de sessie met het toetsenbord. 

Tester: 'U mag stoppen met deze opdracht want de tijd is nu om. 
Het is nu niet gelukt om een stembiljet te printen. U kunt de 
opdracht nu nog eens doen, maar dan met een koptelefoon op. U 
hoort dan terug wat u op het beeldscherm gekozen heeft .' 

Tester pakt koptelefoon en geeft deze aan proefpersoon. Tester 
zegt: 'U kunt het volume aanpassen met de knop aan de zijkant.' 
Tester noteert nieuw sessienummer op het dataformulier. 

Tester kiest op instellingenscherm: Aanraakscherm groep B 

6. Proefpersoon is 
binnen de tijdlimiet 
zonder stembiljet uit 
de simulatie 
gekomen, en er is 
geen technisch 
probleem 

Tester stopt de sessie met het toetsenbord. 

Tester zegt: 'Het is nu niet gelukt om een stembiljet te printen. U 
kunt de opdracht nu nog eens doen, maar dan met een 
koptelefoon op. U hoort dan wat u kiest .' 

Tester pakt koptelefoon en geeft deze aan proefpersoon. Tester 
zegt: 'U kunt het volume aanpassen met de knop aan de zijkant.' 
Tester noteert nieuw sessienummer op het dataformulier. 

Tester kiest op instellingenscherm: Aanraakscherm groep B 

Afronden van de test met een proefpersoon 

De test is afgerond 

Bedank proefpersoon kort en vriendelijk. 

Begeleid proefpersoon de testruimte uit en draag over aan 
gastvrouw. 

Mogelijk: 
proefpersoon gaat 
niet weg 

Ga niet in op inhoudelijke aspecten van de test of de simulatie. 

Geef vriendelijk maar duidelijk aan dat de test klaar is, loop een 
stukje mee richting de uitgang en draag over aan gastvrouw. Blijft 
een proefpersoon aanhouden, haal dan de testcoördinator erbij. 

IMogelijk: 
proefpersoon stelt 
vragen 

Tester beantwoordt de vragen conform de antwoorden in de Q&A- 
lijst 


Wat is specifiek aan het test 

protocol voor slechtzienden? 

Tester geeft de uitleg 

Tijdlimiet 15 minuten 

Opdracht: 2x gemeenteraad 

Als proefpersoon 'faalt' op het 
aanraakscherm krijgt hij/zij een herkansing 
met auditieve ondersteuning 
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Bijlage 5 Protocol voor testers van groep B, laaggeletterden 
en licht verstandelijk beperkten 


Afname test GROEP B laaggeletterden en licht verstandelijk 
beperkten 


Tester zorgt dat de simulatie op 'instellingenscherm' staat, en 
dat de koptelefoon en knoppen bij de simulatie zijn opgeborgen. 
Tester draagt stopwatch om de hals. 

Gastvrouw begeleidt 
proefpersoon naar 
tester 

Gastvrouw introduceert proefpersoon bij tester en geeft mapje 
aan tester. 

Tester geeft proefpersoon een hand en stelt zich voor: 'Ik ben 
[naam], ik ga met u de test af nemen .' 

Tester en proefpersoon gaan aan tafel van tester zitten. 

Tester controleert of het nummer op de sticker van proefpersoon 
en het nummer op het mapje en op het dataformulier 
overeenkomen (zo nee: ga naar testcoördinator). 

Tester geeft 
mondeling algemene 
informatie over de 
test 

Tester zegt: 'Het ministerie van Binnenlandse Zaken test of het 
mogelijk is om op een andere manier een stembiljet in te vullen. 

We doen nu een test waarin wordt nagedaan hoe dat met een 
computer zou kunnen. U moet een keuze maken voor een partij 
en voor een kandidaat. De computer heeft een aanraakscherm. 

De keuzes die u maakt, moet u printen. 

Het is een verzonnen gemeenteraadsverkiezing .' 

Als zo'n computer voor echte verkiezingen zou worden gebruikt 
dan zouden de prints uw stembiljetten zijn. Deze zou u dan in een 
stembus moeten stoppen. Tijdens de test geeft u ze af aan de 
tester. 

Uw naam wordt nergens vermeld in het rapport over de test. 

Tester geeft instructie 
over de simulatie 

Tester loopt met proefpersoon naar de instructieposter aan de 
wand. Tester doorloopt kort de instructie aan de wand. 


Ten slotte zegt de tester: 'Ik geef u zo een opdracht. De test is 
bedoeld om na te gaan of u zelf, zonder hulp, de keuze kunt 
maken. Als u na 15 min. niet klaar bent, zal ik de test beëindigen .' 

Tester geeft opdracht 
voor simulatie 

Tester zegt: 'U krijgt nu eerst van mij een opdracht om uit te 
voeren met het aanraakscherm en de printer .' 

Tester haalt de opdracht uit het mapje, toont deze aan 
proefpersoon, leest de opdracht voor: 'Maak twee keer een keuze 
voor de gemeenteraad: een keer kiest u lijst [x], kandidaat [y], 
en een keer kiest u lijst [p], kandidaat [gj. U ziet hier het plaatje 
van de lijst, en de foto van de kandidaat. Proefpersoon krijgt de 
schriftelijke opdracht mee. 

Tester gaat met 
proefpersoon naar de 
simulatie 

Tester neemt het dataformulier en gaat met proefpersoon naar de 
simulatie. 

Tester noteert het sessienummer (staat op het 
instellingenscherm) op het dataformulier. 

Als proefpersoon kan beginnen, kiest tester op het 
instellingenscherm: Aanraakscherm groep B 


Tester zegt: 'Als u op "Start" drukt, kunt u beginnen .' 
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Tester verlaat de 
simulatie 

Tester start de stopwatch. Tester gaat naar de tafel. 

Tester houdt bij of de tijdlimiet wordt overschreden (15 minuten). 
Bij overschrijding tijdslimiet, zie Afwijkende scenario's: situatie 5. 

Tester stopt de 
simulatie 

Tester stopt de sessie met het toetsenbord zodra proefpersoon 
zich omdraait van de simulatie/aangeeft klaar te zijn. 

Tester begeleidt 
proefpersoon naar de 
tafel 

Tester en proefpersoon gaan aan tafel zitten. 

Tester bergt de geprinte stembiljetten en de schriftelijke opdracht 
op in het mapje. 

Opdracht huidig 
stembiljet 

Tester zegt: 'Ik vraag u om ook nog een keuze te maken op het 
huidige stembiljet. Dit is een stembiljet met verzonnen lijsten en 
verzonnen kandidaten, [tester geeft stembiljet] U krijgt van mij 
een opdracht. Maak een keuze voor lijst 8, kandidaat 4. ' [tester 
geeft kaart met deze opdracht]' 

Tester kijkt NIET mee terwijl proefpersoon het stembiljet invult. 
Tester neemt een zodanige positie in dat proefpersoon de nodige 
privacy heeft tot hij/zij klaar is met het stembiljet. 


Proefpersoon vult papieren stembiljet in, en geeft het biljet (al 
dan niet opgevouwen) terug aan tester. Tester bergt het 
ingevulde stembiljet op in het mapje. 


Tester zegt: 'Dankuwei. Nu heb ik nog een paar vragen voor u .' 

Tester pakt het 
dataformulier 

Tester stelt de vragen. 

Tester kruist de antwoorden op het dataformulier aan/vult ze in. 

Afsluiten test 

Tester bedankt de proefpersoon en begeleidt deze naar de 
gastvrouw voor uitgeleide. 

Tester controleert of alle relevante data op het formulier zijn 
ingevuld, en completeert waar nodig de data. 

Afwijkende scenario's 
tijdens 
opdrachtuitvoering 


1. Proefpersoon komt 
met minstens één 
geprint stembiljet uit 
de simulatie, maar 
had er méér moeten 
hebben volgens de 
opdracht 

Tester handelt als bij standaard situatie. Bij invullen van 
dataformulier vinkt tester aan dat de betreffende afwijkende 
situatie zich heeft voorgedaan. 

2. Proefpersoon zegt 
dat de simulatie is 
vastgelopen/niet 
werkt, of dat er geen 
stembiljet uit de 
printer komt 

Tester stopt de sessie met het toetsenbord. 

Tester start zelf een nieuwe sessie om na te gaan of de simulatie 
inderdaad is vastgelopen/niet werkt. 

Zo ja, er is een technisch probleem : tester roept technische 
ondersteuning en testcoördinator. Tester vult het dataformulier in 
voor zover van toepassing in deze situatie. Tester stopt 
dataformulier weer in het mapje. Als proefpersoon al een of meer 
stembiljetten had geprint, stopt tester deze in het mapje. Tester 
begeleidt proefpersoon, met het volledige mapje, naar een andere 
simulatie om daar opnieuw te starten met dezelfde opdracht. 

Tester vermeldt het nieuwe sessienummer op hetzelfde 
dataformulier. 


Zo nee: proefpersoon krijgt een herkansing om dezelfde opdracht 
uit te voeren. Tester registreert de situatie op het dataformulier. 
Tester noteert het nieuwe sessienummer op het dataformulier en 
vraagt proefpersoon om te starten met de opdracht. Et cetera. 

3. Proefpersoon 
vraagt vanuit de 

Tester zegt: 'Ik mag u niet helpen want de test is bedoeld om na 
te gaan of u zelf, zonder hulp, een keuze kunt maken en een 
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simulatie om hulp 

stembiljet kunt printen. Als u wilt, mag u het zelf nog verder 
proberen. Maar als u niet verder kunt met de opdracht, mag u 
stoppen.' Tester BLIJFT OP AFSTAND. 

Zodra proefpersoon wegloopt van de simulatie, stopt tester de 
sessie met het toetsenbord. 


Tester en proefpersoon gaan aan tafel zitten. Tester stopt de 
opdracht van proefpersoon in het mapje, evenals eventueel 
geprinte stembiljetten. Tester stelt de vragen en vult het 
dataformulier in. 

4.Proefpersoon zegt 
dat het geprinte 
stembiljet niet klopt 

Tester stopt de sessie met het toetsenbord. 

Tester neemt het betwiste biljet in en schrijft erop wat de 
proefpersoon heeft gezegd. Tester stopt dit biljet samen met 
eventuele andere al geprinte stembiljetten in het mapje. 
Proefpersoon krijgt een herkansing om dezelfde opdracht één keer 
helemaal opnieuw uit te voeren. Tester zet de simulatie terug bij 
'Start'. Tester noteert het nieuwe sessienummer op het 
dataformulier en vraagt proefpersoon om te starten met de 
opdracht. Et cetera. 

5. Proefpersoon is na 
15 minuten nog niet 
klaar met de opdracht 
op de simulatie 

Tester stopt de sessie met het toetsenbord. 

Tester: 'U mag stoppen met deze opdracht want de tijd is nu om. 
Het is nu niet gelukt om een stembiljet te printen. U kunt de 
opdracht nu nog eens doen, maar dan met een koptelefoon op. U 
hoort dan terug wat u op het beeldscherm gekozen heeft .' 

Tester pakt koptelefoon en geeft deze aan proefpersoon. Tester 
zegt: 'U kunt het volume aanpassen met de knop aan de zijkant.' 
Tester noteert nieuw sessienummer op het dataformulier. 

Tester kiest op instellingenscherm: Aanraakscherm groep B 

6. Proefpersoon is 
binnen de tijdlimiet 
zonder stembiljet uit 
de simulatie 
gekomen, en er is 
geen technisch 
probleem 

Tester stopt de sessie met het toetsenbord. 

Tester zegt: 'Het is nu niet gelukt om een stembiljet te printen. U 
kunt de opdracht nu nog eens doen, maar dan met een 
koptelefoon op. U hoort dan terug wat u op het beeldscherm 
gekozen heeft .' 

Tester pakt koptelefoon en geeft deze aan proefpersoon. Tester 
zegt: 'U kunt het volume aanpassen met de knop aan de zijkant.' 
Tester noteert nieuw sessienummer op het dataformulier. 

Tester kiest op instellingenscherm: aanraakscherm groep B 

Afronden van de test met een proefpersoon 

De test is afgerond 

Bedank proefpersoon kort en vriendelijk. 

Mogelijk: 
proefpersoon gaat 
niet weg 

Ga niet in op inhoudelijke aspecten van de test of de simulatie. 

Geef vriendelijk maar duidelijk aan dat de test klaar is, loop een 
stukje mee richting de uitgang en draag over aan gastvrouw. Blijft 
een proefpersoon aanhouden, haal dan de testcoördinator erbij. 

Mogelijk: 
proefpersoon stelt 
vragen 

Tester beantwoordt de vragen conform de antwoorden in de Q&A- 
lijst 


Wat is specifiek aan het testprotocol voor laaggeletterden en licht verstandelijk 

beperkten? 

Tester geeft de uitleg en gebruikt daarbij zo 
eenvoudig mogelijke bewoordingen. 

Tijdlimiet 15 minuten 

Opdracht: 2x gemeenteraad 

Als proefpersoon 'faalt' op het 
aanraakscherm krijgt hij/zij een herkansing 
met auditieve ondersteuning 
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Bijlage 6 Vragen en antwoorden (Q&A) 

Over de test en elektronisch stemmen in het algemeen 

1. Waarom vindt deze test plaats? 

Omdat het kabinet volgend jaar een beslissing wil nemen over de meerwaarde en 
haalbaarheid van de invoering van een stemprinter. In voorbereiding op dat besluit wordt 
getest of kiezers zelfstandig met een stemprinter in staat zullen zijn een keuze te maken 
voor een verkiezing, die keuze te printen op een stembiljet en om het stembiljet te 
controleren. 

2. Wat wordt er met de uitkomsten van deze test gedaan? 

De uitkomsten zullen worden gebruikt om het besluit van het kabinet voor te bereiden 
over de haalbaarheid van de invoering van een stemprinter. 

3. Wanneer wordt elektronisch stemmen ingevoerd? 

Of stemmen met behulp van een stemprinter wordt ingevoerd is niet bekend. Het kabinet 
heeft daar nog geen besluit over genomen. 

4. Waarom kunnen we niet per internet stemmen? 

Het kabinet is van mening dat er te veel risico's kleven aan internetstemmen en dat het 
duur is. Dat blijkt uit een onderzoek dat het kabinet in 2013 heeft laten uitvoeren. Dit 
onderzoek is naar de Tweede Kamer gezonden. U kunt het onderzoeksrapport vinden op 
www.overheid.nl onder de rubriek officiële bekendmakingen. U zoekt dan naar het 
document TK 2013-2014, 33 820 nr 2. 

Over de stemprinter-simulatie 

5. Wat is het nut van zo'n stemprinter? 

Een commissie heeft het kabinet geadviseerd om een stemprinter in te voeren omdat 
daarmee meer kiezers zelfstandig zouden kunnen stemmen. Het kabinet gaat nu na of die 
aanname juist is. 

6. Ik vind dat niet goed is nagedacht over deze stemprinter. Het kan veel beter. Ik 
wil daar een klacht over indienen. 

Als u suggesties heeft over hoe het beter kan dan is daar natuurlijk interesse voor. U kunt 
daarvoor de gastvrouw aanspreken. Zij kan u vertellen hoe u uw suggesties zelf kunt 
doorgeven aan het ministerie van BZK. U kunt ook een reactieformulier invullen en dat aan 
de gastvrouw geven. 

7. Wat kost dit allemaal. Kan het geld niet voor betere dingen gebruikt worden? 

Als u de kosten wilt weten van deze test dan kunt u die vraag aan het ministerie van BZK 
stellen dooreen mail te sturen naartestenexperimenten@minbzk.nl. Wilt u weten hoeveel 
een stemprinter mogelijk gaat kosten dan kunt u die informatie vinden in het rapport van 
de commissie die de stemprinter heeft geadviseerd. U vindt dat rapport op op 
www.overheid.nl onder de rubriek officiële bekendmakingen. U zoekt dan naar het 
document TK 2013-2014, 33829 nr. 1. 
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Over de opdrachten tijdens de test 

8. Waarom mag ik niet geholpen worden? 

Deze test is bedoeld om na te gaan of het mogelijk zal zijn om met behulp van een 
stemprinter zonder hulp een keuze te maken voor een verkiezing, die keuze te printen op 
een stembiljet en om het stembiljet te controleren. Het streven is dat u in het stemhokje 
niet geholpen hoeft te worden, omdat dan niemand anders hoeft te weten wat u wilt 
kiezen (stemgeheim). Als u zelfstandig kunt stemmen bent u ook niet afhankelijk van 
iemand die bereid is met u mee te gaan om u te helpen bij het stemmen of van iemand 
aan wie u een volmacht kunt geven. 

9. Waarom mag ik het niet overdoen. Het is toch niet raar dat ik het niet in een keer 
goed doe. Ik heb dit nog nooit eerder gedaan. 

Deze test is bedoeld om na te gaan of het mogelijk zal zijn om met behulp van een 
stemprinter zonder hulp een keuze te maken voor een verkiezing, die keuze te printen op 
een stembiljet en om het stembiljet te controleren. In deze test mag u het 1 keer over 
doen als u zich heeft vergist. Maar u heeft zich niet vergist. Voor deze test betekent dat 
uw opdracht daarmee is afgerond. 

10. Waarom mag ik er maar 10 minuten over doen. In het stemhokje heb ik nooit te 
horen gehad dat ik te langzaam ben. 

Voor deze test is een tijdlimiet bepaald van 10 minuten. Dit is namelijk geen echte 
verkiezing. Dat u in 10 minuten de opdracht niet heeft kunnen uitvoeren wil niet zeggen 
dat u langzaam bent. Daar wordt in deze test geen oordeel over gegeven. 

11. Waarom moet ik het papieren stembiljet invullen? De test gaat toch over 
elektronisch stemmen. 

Dit is een onderdeel van de test, we vragen dat aan iedereen. 

Het is van belang om na te gaan of personen die nu het stembiljet zelfstandig kunnen 
invullen, zelfstandig zouden kunnen omgaan met een stemprinter. Daarom wordt u 
gevraagd om ook een papieren stembiljet in te vullen. 


Specifiek voor blinden en slechtzienden 

12. Ik ben slechtziend en heb bij de Oogvereniging gemeld dat ik voorkeur heb om 
een auditieve variant te gebruiken. Waarom moet ik nu toch met de visuele 
variant aan de slag? 

Deze test is onder andere bedoeld om na te gaan of slechtzienden met het aanraakscherm 
een keuze voor een verkiezing zouden kunnen maken. Bij het bepalen van de wijze 
waarop de informatie op het scherm getoond wordt, is namelijk geprobeerd rekening te 
houden met slechtzienden. Als blijkt dat u niet een keuze kunt maken met het 
aanraakscherm dan kunt u daarna de opdracht opnieuw doen met auditieve 
ondersteuning. De auditieve variant zonder gebruik te maken van het aanraakscherm 
wordt in deze test alleen gebruikt voor personen die blind zijn. 
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13. Ik ben blind. Hoe kan ik dan controleren wat er op mijn geprinte stembiljetten 
staat? 

In uw geval is die controle niet mogelijk. 


Over het maken van foto's of filmpjes van de test 

14. Mag ik foto's of filmpjes maken en mijn ervaringen met anderen (op internet) 
delen? 

Het maken van foto's van deze test is niet toegestaan. 


Over het indienen van een klacht 

15. Ik voel me onheus bejegend. Daar wil een klacht over indienen. 

U kunt uw klacht bespreken met de gastvrouw. Zij kan uw klacht noteren en aan het 
ministerie van BZK doorgeven. Zij kan u ook vertellen hoe u uw klacht zelf kunt doorgeven 
aan het ministerie van BZK. 



Bijlage 2 Instructieposter 



Instructie proefpersonen 




U ontvangt een opdracht van 
de testbegeleider. 


U gaat naar de simulatie stem printer 
om de opdracht uit te voeren. 


Druk op "start" door het scherm 
aan te raken. 


r 






Kies op het scherm een verkiezing. 


r 



r 







Kies een lijst. 


Kies een kandidaat. 


[ Keuzff Ovestigen j 




V 

7^ 

J 

Bevestig uw keuze en geef zo 
opdracht tot het printen van het 
stembiljet. 


0 

\ 





| verkiezing | | 



f\j \ | stoppen ] 



=k k_ 



Kies een volgende verkiezing. 




Als u de verkiezingen hebt doorlopen 
of u stopt tussentijds, dan verschijnt 
een overzichtscherm. Druk dan op 
"stoppen" of op "terug". 



Druk op "Klaar met controleren" 



Na afloop geeft u de opdracht en de 
geprinte stembiljetten aan 
de testbegeleider. 










































































































































































































Bijlage 3 Opdrachten voor gebruikersgroep A 



opdracht Ai 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen, 


Lijst 1 

Europese 
Kleuren partij 


Kandidaat 3 

Blauw 


Ysbrand, Y.M. (m) 

Veldhoven 


p - 

Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 

Lijst 13 

Het Verschil 

* 

Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 

L _ 

_ J 


Opdracht 


voor het referendum over 
de wet voor het bouwen 
van nieuwe kantoren naast 
het stadhuis. 








opdracht A2 


Opdracht 


Opdracht 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen, 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen, 


voor het referendum over 
de wet voor het bouwen 
van nieuwe kantoren naast 
het stadhuis. 


Lijst 20 

Fietspartij 


Lijst 2 

Planten voor 
het Volk 


Kandidaat 5 

Manden 


Kandidaat 43 

Brandnetel 


Alicia, A.B. (v) 

Breda 


u 


Ruben, R.L.K. (m) 

Leiden 


i 











opdracht A3 


r \ 

Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Blanco 


V_ J 


r 

Opdracht 

\ 

voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 

Lijst 13 

Het Verschil 

O' 

Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 

f\ 

v 

_ ) 


Opdracht 


voor het referendum over 
de wet voor het bouwen 
van nieuwe kantoren naast 
het stadhuis. 


Voor 


















Bijlage 4 Opdrachten voor gebruikersgroep B, blinden 



Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 1 

Europese 

Kleurenpartij 


Kandidaat 3 

Blauw 


Ysbrand, Y.M. (m) 

Veldhoven 



Opdracht 


voor het referendum over 
de wet voor het bouwen 
van nieuwe kantoren naast 
het stadhuis. 


Tegen 















Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 13 

Het Verschil 


Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 



opdracht B.B1.2 






Bijlage 5 Opdrachten voor gebruikersgroep B, slechtzienden 



opdracht B-Sz.i 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 

Lijst 1 

Europese 

Kleurenpartij 

4 

Kandidaat 3 

Blauw 


Ysbrand, Y.M. (m) 

Veldhoven 

|1 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 

Lijst 13 

Het Verschil 


Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 







Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 20 

Fietspartij 


Kandidaat 5 

Manden 


Alicia, A.B. (v) 

Breda 



opdracht B-Sz.2 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 2 

Planten voor 
het Volk 



Kandidaat 43 

Brandnetel 


Ruben, R.L.K. (m) 

Leiden 






Bijlage 6 Opdrachten voor gebruikersgroep B, laaggeletterden 



Opdracht 


voor de verkiezing 
van de leden van 


de gemeenteraad van 
de gemeente Nederveen. 

Lijst 1 

Europese 

Kleurenpartij 

& 

Kandidaat 3 

Blauw 


Ysbrand, Y.M. (m) 

Veldhoven 

LI 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 13 

Het Verschil 


Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 











Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 20 

Fietspartij 


Kandidaat 5 

Manden 


Alicia, A.B. (v) 

Breda 




Lijst 2 

Planten voor 
het Volk 


Kandidaat 43 

Brandnetel 


Ruben, R.L.K. (m) 

Leiden 



* 

rtki 












Bijlage 7 


Opdrachten voor gebruikersgroep B, 
licht verstandelijk beperkten 



Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 1 

Europese 

Kleurenpartij 


Kandidaat 3 

Blauw 


Ysbrand, Y.M. (m) 

Veldhoven 



opdracht B.Vb.i 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 13 

Het Verschil 


Kandidaat 25 

Bouwmeester 


Loes, L.T. (v) 

Tilburg 

V_ J 

















opdracht B.Vb.2 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 2 

Planten voor 
het Volk 

|||| 

Kandidaat 43 

Brandnetel 


Ruben, R.L.K. (m) 

* > 

Leiden 

J&i 

v 

) 


Lijst 20 


Fietspartij 

Fietspartij 


Kandidaat 5 

Manden 


Alicia, A.B. (v) 

Breda 


v 






















Bijlage 8 Opdracht met huidig stembiljet 



Opdracht 


voor de verkiezing 
van de leden van 
de gemeenteraad van 
de gemeente Nederveen. 


Lijst 8 

Planetenpartij 


Kandidaat 4 

van der Ster 


Vladimir, W.Q.M. (m) 

Meppel 


V 






Bijlage 9 Dataformulieren 



dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht Al naam tester 


É 

■ 

k 


binder 

r oefpersoc 


L 


1 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

Hf Technische storing 
□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep A 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 3 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag3a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ Ja, ga naar vraag 2 

□ Mee, ga naar vraag 2 

lb. Waarom niet? 


Ga naar vraag 2 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


Ga naar vraag 3 


3. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 3a 

3a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 



















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht A2 naam tester 


É 

■ 

k 


bllLKVr 

r oefpersoo 

- 

L 


1 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

Hf Technische storing 
□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep A 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 3 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag3a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ Ja, ga naar vraag 2 

□ Mee, ga naar vraag 2 

lb. Waarom niet? 


Ga naar vraag 2 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


Ga naar vraag 3 


3. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 3a 

3a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 



















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht A3 naam tester 




r siimer '■ 

proefpersoon 


J 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

Hf Technische storing 
□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep A 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 3 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag3a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ Ja, ga naar vraag 2 

□ Mee, ga naar vraag 2 

lb. Waarom niet? 


Ga naar vraag 2 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


Ga naar vraag 3 


3. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 3a 

3a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 



















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B.Bll naam tester 



Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

Hf Technische storing 
□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Bl 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 3 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 1 en 3a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 1 en 3a 


1. Begreep u de werking van de knoppen? 

□ Ja 

□ Nee, geef toelichting bij vraag la 

la. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? 

□ Makkelijk 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Neutraal 

2a. Waarom moeilijk? 


3. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 3a 

3a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 





















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B.BI2 naam tester 



Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

Hf Technische storing 
□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Bl 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 3 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 1 en 3a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 1 en 3a 


1. Begreep u de werking van de knoppen? 

□ Ja 

□ Nee, geef toelichting bij vraag la 

la. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? 

□ Makkelijk 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Neutraal 

2a. Waarom moeilijk? 


3. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 3a 

3a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 





















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Szl naam tester 


É 

■ 

k 


M/Cncf 

K oefpersoo 


L 


1 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 
SB Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Sz 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 2 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 2 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Was voor u wat op het scherm stond te lezen? 

□ Ja 

□ Nee, Geef toelichting bij vraag 2a 

2a. Waarom niet? 


3. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 3a 

□ Makkelijk, ga naar vraag 4 

□ Neutraal, ga naar vraag 4 

3a. Waarom moeilijk? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 


















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Sz2 naam tester 


É 

■ 

k 


M/CKer 

r oefpersoc 


L 


1 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 
SB Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Sz 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 2 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 2 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Was voor u wat op het scherm stond te lezen? 

□ Ja 

□ Nee, Geef toelichting bij vraag 2a 

2a. Waarom niet? 


3. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 3a 

□ Makkelijk, ga naar vraag 4 

□ Neutraal, ga naar vraag 4 

3a. Waarom moeilijk? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 


















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Lll naam tester 




sticker 

proefpersoon 




Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Ll 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


3. Heeft u de plaatjes en/of de foto’s gebruikt om te zoeken op wie u een keuze wilde maken? 

□ Ja 

□ Nee, geef toelichting bij vraag 3a 

3a. Waarom niet? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 


















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-L12 naam tester 




sticker 

proefpersoon 




Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 
SB Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Ll 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


3. Heeft u de plaatjes en/of de foto’s gebruikt om te zoeken op wie u een keuze wilde maken? 

□ Ja 

□ Nee, geef toelichting bij vraag 3a 

3a. Waarom niet? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 


















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Vbl naam tester 




sticker 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 
SB Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 

































Vragen voor proefpersonen uit groep B.Vb 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


3. Heeft u de plaatjes en/of de foto’s gebruikt om te zoeken op wie u een keuze wilde maken? 

□ Ja 

□ Nee, geef toelichting bij vraag 3a 

3a. Waarom niet? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 



















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Vb2 naam tester 




sticker 


Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft gesproken hulp gebruikt 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 

































Vragen voor proefpersonen uit groep B.Vb 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 5 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 3 en 5a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder gesproken hulp) 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


3. Heeft u de plaatjes en/of de foto’s gebruikt om te zoeken op wie u een keuze wilde maken? 

□ Ja 

□ Nee, geef toelichting bij vraag 3a 

3a. Waarom niet? 


4. □ Proefpersoon heeft gesproken hulp gebruikt. Ga verder bij vraag 4o 

□ Proefpersoon heeft geen gesproken hulp gebruikt. Ga naar vraag 5 

4a. Hoe vond u het maken van keuzes en het printen van stembiljetten met gesproken hulp? 

□ Moeilijk, geef toelichting bij vraag 4 b 

□ Makkelijk, ga naar vraag 5 

□ Neutraal, ga naar vraag 5 

4b. Waarom moeilijk? 


5. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 5a 

5a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 



















dataformulier 

test met stemprintersimulatie 

december 2014 

opdracht B-Fbl naam tester 




sticker 

proefpersoon 




Nummer le sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 2e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft aanraakscherm en knoppen 
gebruikt. Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


Nummer 3e sessie 


Ruimte voor toelichting 


Kruis aan indien van toepassing: 

□ Proefpersoon heeft hulp gevraagd 
Simulatie is gestopt. Geef reden hulpvraag 

□ Proefpersoon heeft geen stembiljet geprint 
Geef toelichting 

□ Proefpersoon heeft aanraakscherm en knoppen 
gebruikt. Geef toelichting 

□ Nieuwe sessie gestart. Kruis aan waarom: 

□ Technische storing 

□ Herkansing proefpersoon 
Geef toelichting 


□ data ingevoerd 


□ controle invoer afgerond 































Vragen voor proefpersonen uit groep B.Fb 


□ Proefpersoon heeft een of meer stembiljetten geprint. Stel vraag 1 t/m 4 

□ Proefpersoon is binnen tijdslimiet gestopt en heeft geen stembiljetten geprint. Stel vraag 3 en 4a 

□ Proefpersoon heeft tijdslimiet overschreden en geen stembiljetten geprint. Stel vraag 3 en 4a 

□ Proefpersoon vult geen papieren stembiljet in 


1. Heeft u alle stembiljetten gecontroleerd? 

□ Ja, go verder bij vraag la 

□ Nee, geef toelichting bij vraag lb 

la. Komt wat er op de stembiljetten staat overeen met wat u heeft gekozen? 

□ ja, ga naar vraag 2 

□ Nee, ga naar vraag 2 

lb. Waarom niet? 


2. Hoe vond u het maken van keuzes en het printen van stembiljetten? (zonder knoppen) 

□ Moeilijk, geef toelichting bij vraag 2a 

□ Makkelijk, ga naar vraag 3 

□ Neutraal, ga naar vraag 3 

2a. Waarom moeilijk? 


3. □ Proefpersoon heeft de knoppen gebruikt. Ga verder bij vraag 3a 

□ Proefpersoon heeft geen knoppen gebruikt. Ga naar vraag 4 

3a. Hoe vond u het maken van keuzes en het printen van stembiljetten met de knoppen? 

□ Moeilijker dan met het aanraakscherm, geef toelichting bij vraag3b 

□ Makkelijker dan met het aanraakscherm, ga naar vraag 3c 

□ Even makkelijk dan met het aanraakscherm, ga naar vraag 3c 

3b. Waarom moeilijker? 


3c. Begreep u de werking van de knoppen? 

□ Ja, ga naar vraag 4 

□ Nee, geef toelichting bij vraag 3d 

3d. Waarom niet? 


4. □ Proefpersoon heeft geen of niet alle stembiljetten geprint. Stel vraag 4a 

4a Waarom heeft u geen of niet alle stembiljetten geprint? 


□ data ingevoerd 


□ controle invoer afgerond 

















